1924年，19岁的关麟征进入国民党陆军军官学校(黄埔军校)，成为第一期学员。他被编为第三队，并参加了中国国民党。开学典礼上，孙中山勉励学员不仅要做一个有高度才能的军人，而且要做一个不怕苦、不怕死的军人。“不怕苦、不怕死的军人”对关麟征一生的戎马生涯产生了重要影响。
“古北口”战初告捷
黄埔军校毕业后，关麟征在经历了东征陈炯明和中原大战之后，积累了一定的实战经验，也开始逐步显示出他身上所特有的军事才能和天赋。“九一八”事变后，关麟征常以“毋忘国耻，收复失地是中国军人的任务”来教导部下官兵。1932年年底，徐州成立二十五师，关麟征任师长。宣誓就职时，关麟征以抗日救国为主题，号召全师将士誓死抗击日寇，保卫中华民族。一个军人的“黄金时代”由此开启。
1933年年初，日军攻陷山海关，并进犯察哈尔、热河境内长城诸口，华北岌岌可危。关麟征奉命开赴古北口抗日。到达前线后，关麟征亲临第一线指挥作战，猛烈反击日军。双方短兵相接，战斗惨烈，关麟征被敌人枪弹炸伤多处，浑身是血，但他仍然力战不退。中山先生在开学典礼上的那句话时时在关麟征耳边响起。他一定要做一个“不怕苦、不怕死的军人”。身旁随从官兵10余人全部战死，他也毫不畏惧，仍然从容指挥官兵与敌人搏斗，终于将敌人击退，占领高地。
古北口战役是自侵略热河以来日军受到的第一次沉重打击。关麟征因古北口抗战有功，获国民政府颁发的勋章一枚。他和其他伤员住院期间，北平各大、中学校学生前往慰问献花者络绎不绝。《大公报》主笔张季鸾撰写社论《爱国男儿，血洒疆场》以贺其功。
关麟征的妹妹关梧枝回忆，古北口大捷后，关麟征写下了一首七言诗：“半壁河山狼烟中，烽火照红北地冰。长城之外牧寇马，铁蹄咫尺危古城。大厦将倾于汤火，神州存亡瞬息中。岂肯折膝求苟安，站直抛颅笑颜生。炎黄子孙多傲骨，我今抗日三请缨。”
“台儿庄大捷”留英名
1937年七七事变时，关麟征已升任五十二军军长。这年秋天，他率部队在平汉铁路从事抗日斗争。9月，他参加了保定战役。10月，他率五十二军在漳河南岸击退日军土肥原十四师团。转年，关麟征参加了著名的台儿庄会战，他迎来了“打日本鬼子一生”的顶峰。
1938年3月31日下午，由临沂南下的日军坂垣第五师团沂州支队约4000人配备野炮、坦克突然袭击关麟征的五十二军指挥部。此时五十二军的兵力全部投入战斗，关麟征身边只有约300人的一个警卫营兵力。关麟征临危不乱，佯攻迷惑敌人。拖延至黄昏后，增援队伍赶回，关麟征一举反攻，把日军坂垣第五师团沂州支队包围，全歼日军骑兵。此后，关麟征乘胜追击，大大减轻了台儿庄外线进攻的压力，有力地支援了台儿庄的正面防守战。不久，关麟征五十二军、王仲廉八十五军挥戈南指，加紧对包围台儿庄的日军进攻。白天枪炮轰击，晚上纵火夜战，使敌人日夜不宁，先后毙敌1000余人，并将台儿庄东面的甘露寺、杨楼、陶墩等据点收复。这一胜利，使台儿庄东北面所受的日军威胁全部解除。4月6日晚，李宗仁下令全线反攻，中国军队在台儿庄战役中获得了辉煌胜利。
台儿庄战役后，4月下旬关麟征率军把日军冈崎支队包围在码头镇西面的北涝沟。关亲自指挥部队勇猛围歼堵击敌人，使日军死伤累累，伤亡惨重，仅日军四十一、四十二两个联队伤亡即达1400多人，获得重大战果。
关麟征因台儿庄作战有功，升任第三十二军团长。当时，在黄埔军校毕业生中任军团长的仅有胡宗南和他两人。在台儿庄战役中与关麟征较量过的坂垣征四郎说：“关麟征一个军应视普通支那十个军。”关麟征由此得名“关铁拳”，国内的军事评论家对他的军事才能亦大加赞赏。