1937年7月7日卢沟桥事变，日本发动了全面侵华战争。8月13日，日军进攻上海。中日双方在上海及其周围地区进行了长达3个多月的大会战。10月26日，日军攻陷大场、江湾、闸北、庙行地区。中国守军腹背受敌，战局危急。为避免全军覆没，中国最高军事当局决定将主力撤至苏州河以南阵地。为掩护大军撤退，第88师奉命留下1个团，死守闸北，牵制日军。师长孙元良在团以上军官会上，问谁愿意挑这副重担，第524团中校团副谢晋元当即表示愿意留下。于是，决定以该团第1营为基干，组成加强营。全营共有3个步兵连、1个机枪连、1个迫击炮连，共420余人，对外仍用团番号，称800人，由团副谢晋元、一营营长杨瑞符少校等率领，以四行仓库为固守据点，实施掩护任务。
谢晋元受领死守四行仓库的任务后，对全体官兵说：“国家兴亡，匹夫有责。我们是中国人，要有中国人的志气。现在我们四面被日军包围，这个仓库就是我们的最后阵地，也可能是我们的坟墓，只要我们还有一个人，就要同敌人拼到底!”全体官兵表示：誓与四行仓库共存亡!四行仓库是大陆、金城、盐业、中南四家银行的储备仓库，位于苏州河北岸西藏路附近，是一座钢筋水泥结构的7层大楼，楼高墙厚，易守难攻。这里曾是第88师司令部驻地，储备了不少弹药和粮食。仓库的西面和北面是中国地界，已被日军占领，东面是公共租界，南面是苏州河，河的南岸也是公共租界。因此，四行仓库同未被占领的中国地界完全隔绝，成为一个“孤岛”。坚守四行仓库的八百壮士，也就成了孤军。
谢晋元率部进入四行仓库后，迅速加强了四周防御工事，并在四行仓库内部署兵力，构筑强固工事。四行仓库内有大量的大豆、小麦，这些包装粮食的麻包成了理想的构筑工事的材料。他们用麻包堵住了仓库的大门，封闭了所有的窗户，留出了射击孔，派人分层据守。为了隐蔽部队，还把大楼的电灯全部破坏掉，同时焚烧了仓库周围的房屋，防止日军据此向大楼进攻。
27日中午，日军开始从西面的交通银行方向向四行仓库逼近，当即遭外围阵地守军顽强抗击。日军扔下数具尸体，抱头回窜。随后，日军纠集兵力再次扑向外围阵地，外围守军进行英勇抵抗后，退入仓库。日军占领外围阵地后，立即猛攻仓库大门。日军兵力几倍于守军，但八百壮士沉着应战，全楼火力一齐射击。三连连长面部受伤，血流满面，仍不下火线，一面以毛巾捂住伤口，一面继续指挥战斗。是日，日军遗尸80余具，四行仓库丝毫无损。随后两日，日军动用飞机、坦克，连续向四行仓库发动猛烈进攻。八百壮士赁借坚固工事，顽强抵抗。谢晋元亲手毙敌1名。日军屡遭重创，毫无进展。四行仓库巍然屹立。
经过三昼夜浴血奋战，将士们已疲惫之极，但士气仍然十分高昂。谢晋元在阵地上赋诗一首：“勇敢杀敌八百兵，抗敌豪情以诗鸣;谁怜爱国千行泪，说到倭奴气不平。”激励大家奋勇杀敌。杨瑞符召集官兵讲话，说：“望各位爱国的男儿都抱定必死的决心，和谢团副、本营长死在一块吧!大家可以简单地写遗书一封，通知家中。写好后，收集起来，等待将来设法送到邮局去，以表示大家牺牲的决心。”
30日，日军向仓库发起总攻。战斗从上午7时开始，一直持续到午夜。早已置生死于度外的勇士们，众志成城，凭坚固守，日本侵略军徒唤奈何。日军虽有飞机，但不敢投弹;虽有大炮，却不敢轰击。因为仓库附近就是公共租界，若流弹落入租界地区，就会引起国际争端，他们只好望楼兴叹。八百壮士在四行仓库与日军血战4昼夜，歼敌200余名，自己仅伤亡20余人，胜利完成任务。