司马迁的史记中认为秦始皇并不是秦庄襄王的亲生儿子，而是吕不韦的。后来的史家也都沿用这个说法(例如司马光《资治通鉴》)。到明朝时，有几位学者对此表示怀疑，认为这或者是吕不韦编造出来保护自己的，或者是秦始皇的仇家捏造出来泄愤的。现代的史学家有的认为这个说法不可信，有的认为司马迁的记述不可能空穴来风，于是秦始皇生父是谁，就成了一个谜。
据《史记·吕不韦列传》记载，秦始皇的母亲赵姬原是吕不韦的姬妾，吕不韦出于政治目的将已怀孕的赵姬献给异人(即秦庄襄王)，后来赵姬至大期生子名政。
《史记·秦始皇本纪》记载，“秦始皇帝者，秦庄襄王子也。庄襄王为秦质子于赵，见吕不韦姬，悦而取之，生始皇。”作为一个并不受宠爱的质子的儿子，赵政少年时期是在赵国都城邯郸度过的，此时异人经吕不韦从中斡旋已然回到秦国，并认华阳夫人为母，经过多次政治斗争终于获得了华阳信任，吕不韦又花费大量精力与金钱将赵姬母子接回秦国，从此赵政开始了他在秦王宫里的政治生涯。
嬴政为何将赵姬驱逐
对于秦始皇来说，最熟悉的女性莫过于母亲了。在秦始皇4岁的时候，父亲异人将他们母子作为人质留在了赵国。母亲赵姬曾是吕不韦的姬妾，所以“两个父亲”的传言一直伴随赵政的成长，再加上赵国人的唾弃、鄙视都让年幼的秦始皇对母亲—这个唯一可以依靠的人充满了爱与恨的复杂感受。
秦蠃政当政做了始皇，理当是赵姬辉煌之时，可是嬴政正式行了冠礼后，他的母亲帝太后赵姬却被驱逐出咸阳，迁居到雍城软禁至死。
秦始皇杀死的赵姬与嫪毐生的那俩孩子具体年龄正史没有记载，野史传言小的还未满岁，大的可能才5到8岁的样子。
嫪毐本是受相邦吕不韦之托为伪宦官入宫，与秦始皇之母太后赵姬私通，因而倍受宠信，被封为长信侯，并自称是秦王的“继父”。后来因事情败露，发动叛乱失败而被秦始皇处以极刑，车裂而死。