1905年日俄战争后，日本强占了中国的辽东半岛和南满铁路。不久，日本将辽东半岛改名为关东州，在旅顺设立关东都督府，下设民政部和陆军部。1919年在关东都督府陆军部的基础上，在旅顺口设关东军司令部。俄国在日俄战争中战败后，根据《朴次茅斯和约》将关东州(中国辽南旅大地区)的租借权和南满铁路转让给日本。日本为维护其殖民利益，派遣2个师4万人的兵团进驻关东州及南满铁路附属地，并设立关东总督府。次年，总督府改为都督府，下设陆军部，辖1个陆军师、6个独立守备营、旅顺重炮营和宪兵队等。
20世纪上半叶，长期侵驻中国东北地区的日本陆军重兵集团。1919年，都督府撤销，改设关东厅，成立关东军，首任司令立花小一郎，司令部设在旅顺，直接隶属于天皇。1926年进入昭和时代后，日本加紧推行侵略中国和准备对苏作战的大陆政策。1928年，关东军制造皇姑屯事件，炸死中国奉系军阀首领张作霖。1931年策划“九一八”事变，侵占中国东北全境。次年炮制伪满洲国，司令部迁至长春，司令兼任日本驻“满”大使和关东厅长官，掌握伪满军政大权。从此，关东军对中国东北实行殖民统治，残酷镇压中国抗日军民，疯狂掠夺粮食和矿产资源，把中国东北建成日本进一步侵略扩张的重要战略基地。
1928年6月，关东军制造“皇姑屯事件”。1931年9月18日，关东军制造“柳条湖事件”，并以此为借口炮击东北军大营，发动了九一八事变，拉开了长达十四年的侵华战争的序幕。1932年3月，建立满洲国。1939年5月，满洲军队跟蒙古军队在诺门罕发生小规模边境冲突，後演化成为关东军对苏联红军的正面对决。朱可夫指挥六个旅七万名苏联远东军，以机械化部队击败两个师团约四万名关东军。一万八千名日军战死或受伤。日本全国震动，平沼内阁请辞。关东军司令官植田谦吉及参谋长矶谷廉介被撤职。
1942年，太平洋战争开始後，关东军主力逐渐被抽调至太平洋战线。在1943年战况逆转後，不少关东军在太平洋的岛屿上被歼灭。1945年8月，苏联红军出兵东北，关东军被击毙八万三千人，被俘五十九万四千人。战后，余下的关东军官兵作为俘虏被送到西伯利亚从事强制劳动。