1937年“八一三”淞沪抗战中，谢晋元与八百壮士在四行仓库喋血奋战的英勇表现足以惊天地而泣鬼神。当年10月底，坚守“四行”，与敌鏖战四日四夜的谢晋元部奉命撤离。31日凌晨二时，谢晋元团长手持国旗，最后一个与四行告别。当时的《大美晚报》报道，四行将士退出人数中受伤者26人，重伤送医院救活者数人，在坚守四行百余小时的激战中，我军壮烈牺牲者五人，毙敌二百多，伤敌不计其数。后来总部以八百壮士尽忠职守，为国争光，特电犒赏，对殉难受伤者从优抚恤，以慰忠魂而奖有功。
谢团撤离四行，原想退到沪西归队，不料一进租界，即被缴械，拘禁于当时位于昌平路888号的胶州公园内，即今静安工人体育场及江宁电影院一带。时称之为“孤军营”。营地因陋就简，以芦席盖起临时营房。但营房四周却被铁丝网扎得严严实实，而且大门口由租界工部局的万国商团派武装日夜巡行看守，步步设防，层层戒备。
谢团被困孤军营旬日，南市亦告陷落。从此租界变成日军包围中的孤岛。孤军营在孤岛，处境更为险恶。但是谢晋元壮心仍在，御敌之志，从不稍懈。他曾作诗自勉:勇敢杀敌八百兵，百无聊赖以诗鸣。谁怜爱国千行泪，说到倭奴气不平。
孤军营在租界内，几与“俘虏营”无异。八百壮士的自由受到限制，但谢团军纪严整，坚持每天早操前的升国旗仪式。不久，租界当局横加干涉，不准他们进行这个仪式。于是谢团就将此改为“精神升旗”仪式。即早操前由谢晋元带领全体官兵昂首肃立，向天空行军礼，以示大家热爱祖国，抗战到底的决心。
谢晋元与其部下的四名连长 中坐者为谢晋元将军
1938年8月，在纪念抗日战争一周年之际，谢晋元向租借工部局再三交涉，要求在孤军营内升国旗。8月9日工部局送去了一根旗杆。可是旗杆竖起才一天，租界当局出尔反尔，唯恐迁怒日本又收回前允。经谢团长据理力争，租界方面才复同意，但旗杆要截去四尺。谁料8月11日国旗刚升起，万国商团苏格兰队、意大利队立刻集结在孤军营外面，如临大敌一般。国旗刚一升起，白俄商团竟直冲营内准备硬抢。谢晋元与八百壮士当即坚定地表示，保卫国旗，如卫国土，决不示弱。就这样双方发生了大规模的冲突。敌众我寡的情况之下，已被解除武装的谢团官兵不幸有四人牺牲而受伤者逾百数。最后，不但国旗被抢劫，孤军营也被外国军队占领。为了抗议租界当局的这一野蛮行径，八百官兵进行了绝食斗争。事件发生后，上海各界人士激于义愤，以各种方式作壮士们的后盾。如当时市立模范中学师生积极声援，并派代表前往慰问。谢晋元当众表示，头可断，血可流，绝对不做任何帝国主义的顺民。经谢团的顽强斗争和上海市民的有力声援，工部局慑于众怒，只得将国旗送还。谢晋元为此勉励将士们:“大上海租界，我们的言行必须使外国人从我们身上看出中国人的气概，认识中国人的精神。”当时汉口中共机关刊物《群众》月刊，特别为此发表文章，向留在上海坚持斗争的八百壮士致以诚挚的问候。
八百壮士在孤军营前后四年多，他们的日常生活由当时国民党“上海统一委员会”拨款维持。但主要是来自社会各界的热情支援。如当时大中小学和其他工商各界冲破重重阻力，经常有组织地去参观慰问，并馈赠食物和其他各种慰劳品。这些都使谢团官兵备感鼓舞。
在谢晋元部队进入孤军营的第一天，商务印书馆门市部主任顾祖荫出于爱国热忱，专程前往拜访谢团长。顾花了相当于他本人三个月薪酬的200银元，买了《步兵操典》和笔墨砚台练习本等，他发给谢部官兵每人一套。另外赠给谢将军精制日记本一本。谢氏在日记本第一页写道:“这本日记是顾先生送给我的，我一定从今天起开始记日记，以期无负顾君的一番盛情雅意。”这本日记后来由正言出版社负责人翻译家朱雯整理，出版了《谢晋元日记抄》。
八百壮士在孤军营，精神食粮从来不虞匮乏。上海各种报刊都有赠送。比如《正言报》，每天送达50份。《正言报》不但经常报道壮士们的生活动态，宣传他们对敌斗争的光荣事迹，同时还不时地转达上海各界对他们的热爱和敬意。报社一名叫梁西廷的记者常去孤军营采访，还曾教战士们唱抗日歌曲。其中给人印象最深的是由夏之秋作曲，桂涛声填词的《歌八百壮士》，歌曰:“中国不会亡!中国不会亡!八百壮士奋战东战场，四方都是炮火，四方都是豺狼。宁愿死，不退让;宁愿死，不投降，我们的国旗在重围中飘荡，飘荡!八百壮士一条心，十万强敌不敢挡。同胞们起来，快快赶上战场，拿八百壮士做榜样。中国不会亡，中国不会亡，不会亡!”与此同时，社会各界还积极帮助官兵们开展文体活动，让他们强体健身和丰富生活内容。一些知名体育人士到军营中当战士们的教练员;而一些经营体育器械、用品、服装的公司也纷纷为战士们作捐赠。《上海体育史话》一书中，曾有文章记载如下史实:其一为“1938年冬，日寇当局企图利用少数民族败类诱使四行孤军的官兵投降，中共地下党领导的业余文化团体益友社针锋相对地予以抵制，并向爱国官兵赠送慰问品。在文体活动演出后同孤军合影，鼓舞孤军官兵坚持抗战立场，发扬民族气节”。其二是“孤军营的官兵在谢团长率领下，自行辟划场地、设施，组织体育训练，运动技术不数月而大进。除时常自行组织运动会外，还活跃于孤岛时期的社会体育之林，同孤岛同胞一起联欢，并放映《战地英雄》等影片，以进行抗日爱国主义教育。当时孤军营坚持抗战到底不失民族气节的事迹，斐然岛上，名扬中外……”
随着孤岛形势的不断恶化，敌伪对谢晋元的威胁利诱也日甚一日。日军曾扬言不惜一切代价要把他劫持到手，而汪伪也以高官厚禄为诱饵，妄图促其就范。但是这些都是枉费心机。谢团长在1939年8月11日悬旗冲突一周年纪念日那天，领导全体官兵举行精神升旗典礼后，即席讲话说:“吾人应以个人生命贡献于国家民族，只有国家民族之自由而无个人自由;只有国家民族之生命而无个人之生命。一年前为悬挂国旗，吾同志死难四人，流血一百多人，大家必须以牙还牙，以血还血，永记勿忘。”接着他预立遗嘱，并函父母，重申他誓死报国之决心。信中有云:“上海形势恶化，租界自身难保，而敌人对男之企图，势在必得。大丈夫光明而生，亦必光明磊落而死，男对死生之义，求仁得仁，泰山鸿毛之旨，熟虑之矣。人生必有一死，此时此地而死，实人生之快事也。”视死如归的凛然精神，溢于言表。
1941年4月24日清晨五时，谢晋元如往常一样率士兵们早操。此时，已被汪伪收买的郝鼎诚、张文清、张国顺、张福忠等四名士兵故意迟到。谢因此将这几人叫到一旁询问。早有准备的四个奸徒忽然拔出凶器，群刺谢晋元，中头胸数处。谢晋元重伤倒地，流血至黄昏许，医治无效，一代抗日英雄，就这样悲愤以殁，时年仅37岁。
噩耗一经传出，举国震悼。各地唁电如雪片飞来。上海同胞往孤军营吊唁者有30多万人，素车白马，途为之塞。国民政府给予谢晋元以极高的评价。通电表彰，追赠其为陆军步兵少将。当时全国各地的报纸都为追悼谢将军而出了特刊。
谢晋元逝世半年后，日军进入租界，将孤军营谢余部解送各地为苦力。国军回师之后，八百壮士返沪者百余人，皆结庐于谢团长墓侧，多年不去。国府改四行仓库所在地的胶州路为晋元路，并树碑传以为志焉。