关於秦朝的迅速灭亡，一直流传这样一则谣言。说秦朝之所以迅速崩溃，在於其有数十万大军远征岭南未归，致使其内部防卫空虚，才得以被山东六国起义军推翻。之所以说这是一则谣言，是因为这只是出乎一些人的臆想，而禁不起任何推敲。
而流传最广的一种说法，说这支滞留岭南的秦军有五十余万之众。对此在《史记》中并没有确切的记载，而在裴骃的《史记集解》中倒是有““五十万人守五岭”的注解。许多人就是依次而臆想，这五十万人为精锐秦军。但是，五十万军队於秦国为何种概念?王翦灭楚时，向秦始皇提出“非六十万人不可”。秦始皇极为错愕，更放心不下，这六十万人已经是秦国的空国之师了。
秦统一六国之后，虽能动员的人力更多。但山东六国与秦国之间有着一两百年的仇恨，而今又要忍受秦人的侵凌与奴役。所以，山东六国地区的百姓对秦人的仇恨与敌视，很难在短时间内消解。故而，秦王朝在短时期内只能依靠与信赖秦人去维系其统治。而岭南地区与秦地相隔万里，不但秦朝很难在岭南建立实效统治，即便一千两三百年以后的宋朝，仍把岭南视为官员的流放之地。
大秦帝国那帮决策者，是要有多愚蠢?才会把整个帝国最值得信赖与倚靠的精锐之师，发配到万里之外，去戍守那瘴气横生、尚未开化之地?对秦人来说，以其有限的人口，就连东方六国的膏腴、繁华之地，都占领不过来，又怎么会抽调精锐之师去戍守岭南?而在当时，就连与秦地相离较近、已得到很大程度开发的巴、蜀之地，都已经被秦人当作了流放之地。
其实，关於戍守岭南这批人的成分，在《史记》中有明确的记载。据《史记·秦始皇本纪》记载：...三十三年，发诸尝逋亡人(逃亡被抓者)、赘婿、贾人(商人)略取陆梁地(岭南)，为桂林、象郡、【集解】：韦昭曰：“今日南。”南海，以適遣戍。
可见，戍守岭南的数十万之人，压根就不是秦军精锐，而是东方六国中(秦人很少)那些社会地位最低阶层。在岭南称帝的赵佗，便是赵(真定)人，这些人对秦国的“好感”可想而知。如果这批人回到了北方，不但不会挽救秦朝的灭亡的命运。反而，加入东方六国起义军、加速秦朝的败亡的可能性更大。
据《史记·南越列传》记载：..南海尉任嚣。病且死，召龙川令赵佗语曰：“闻陈胜等作乱，秦为无道，天下苦之，项羽、刘季、陈胜、吴广等州郡各共兴军聚众，虎争天下，中国扰乱，未知所安，豪杰畔秦相立。南海僻远，吾恐盗兵侵地至此，吾欲兴兵绝新道，自备，待诸侯变，会病甚。且番禺负山险，阻南海，东西数千里，颇有中国人相辅，此亦一州之主也，可以立国...嚣死，佗即移檄告横浦、阳山、湟谿关曰：“盗兵且至，急绝道聚兵自守!”因稍以法诛秦所置长吏，以其党为假守...佗即击并桂林、象郡，自立为南越武王。
赵佗能轻而易举掌握岭南军政大权，尽诛秦所置长吏，可见秦人的比例也应该微乎其微。再从秦末起义，及南越国最终灭亡的情况来看。戍守岭南这五十万人，如果数据确实，应该涵盖了大量的后勤人员，而以南越国的实力，是绝对拿不出五十万大军的。
至於秦军究竟哪去了?实际上，秦军的主力就是在巨鹿之战中被项羽给消灭了。这不仅包括了秦军王离统帅的长城兵团，在章邯的军队中也有大量的秦军补给，如《史记·项羽本纪》记载：..秦果悉起兵益章邯，击楚军，大破之定陶，项梁死。
还有许多秦军分驻各地险要，而被各地起义军各个击破，此类记载就更数不胜数了。如：项梁起东阿，西，至定陶，再破秦军，项羽等又斩李由，益轻秦，有骄色.....沛公以为诈，乃用张良计，使郦生、陆贾往说秦将，啗以利，因袭攻武关，破之。又与秦军战於蓝田南，益张疑兵旗帜，诸所过毋得掠卤，秦人憙，秦军解，因大破之。又战其北，大破之。乘胜，遂破之等等。