乾隆自称“十全老人”，认为自己文武兼备、福寿双全。然而他却有一件终生憾事。
乾隆三年(1738年)十月，年仅九岁的皇二子永琏得了寒症夭亡。随后，乾隆取出了藏于乾清宫“正大光明”匾额之后的，上面写着永琏名字的立嗣密旨。乾隆七年，乾隆把自己的陵寝定在东陵，并在附近为永琏建造了清朝规格最高的皇子园寝。皇十五子永琰被立为皇太子后，去拜祭东陵时，乾隆还特意要他对永琏行叩拜之礼，可见乾隆对永琏的喜爱，几十年未曾改变。
清朝开国以来，皇太极、顺治、康熙、雍正和乾隆均非嫡子出身，乾隆一直以此为国之憾事，所以有志于立大清第一位为嫡子的太子，永琏死后，他依然没有放弃这个志向。乾隆十一年佛诞日，皇后富察氏生下了皇七子。乾隆高兴极了，挥笔写下“额手但知丰是瑞，颙祈岁岁结为缘”的诗句。
网络配图
清朝皇子一般都是在出生几年之后才取名，可皇七子出生不久，乾隆便为其取名“永琮”。琮是一种祭地和祭祖的礼器，以琮为名，说明永琮被寄予厚望。后来发现宗室中还有另一人名叫永琮，乾隆立即下旨，“著将外间永琮，改名永瑺”。
第二年佛诞日，永琮周岁，乾隆再赋诗一首，以表达自己的喜爱之情。乾隆对永琮越看越爱，说他“性成夙慧……岐嶷表异”——一个婴儿都能看出这些优点来，可见他对永琮的喜爱不亚于永琏。可命运再次和乾隆开了一个玩笑。乾隆十二年除夕的前一天，年仅两岁的永琮因天花而夭亡。痛惜不已的乾隆甚至在次年正月和四月两次亲自临奠。
永琮的夭亡，对乾隆是个不小的打击，对皇后富察氏更是催命符。两个多月后，皇后去世。但这对乾隆剩下的六个庶子来说，并不是件好事。皇长子带着弟弟和王公大臣们前去迎丧，没想到却迎来乾隆毫无来由的斥责和谩骂。稀里糊涂地被排除在继承权之外的大阿哥抑郁成疾，两年之后去世，年仅23岁。
为了延续“立嫡子”的梦想，乾隆立那拉氏为皇后，并在那拉氏近20年都没有生育的情况下，几乎对她达到了专宠的地步。那拉氏的确不负所望，从继任皇后开始，一连生了二男一女。虽然皇五女和皇十三子都幼年夭亡，但皇十二子永璂却平安长大。如果皇后的地位一直没受到威胁，永璂成为皇储的几率还是很大的。可惜就在这时，令妃登场了。
令妃本是包衣出身，机缘巧合进了宫，并在皇后生下皇十三子之后，专宠后宫19年，接连生下四男二女，最终晋位皇贵妃。随着令妃圣眷日重，皇后那拉氏回到了独守深宫的清冷岁月。看着令妃一次次生儿育女，她的心理严重失衡了。
网络配图
乾隆三十年，南巡途中，那拉氏听说了令贵妃即将被晋封为皇贵妃的消息—在清朝，皇贵妃被称为副皇后，几乎从来没有发生过皇后在位而立皇贵妃的事件。那拉氏感到莫大的威胁，“忤上旨，后剪发”，乾隆震怒，“令后先还京师”。一年后，那拉氏去世，以皇贵妃的礼节下葬。她的悲剧也给皇十二子永璂带来了灾难。永璂在父亲的冷眼和母亲的阴影中挨过了十年，终于在乾隆四十一年抑郁而亡，年仅25岁，没有子嗣。乾隆没有给他任何爵位。几十年之后，嘉庆可怜这个苦命的哥哥，才追封他为贝勒。至此，嫡子继位的梦想彻底破灭。
随着两位嫡子的去世和皇后那拉氏的失宠，皇五子永琪逐渐映入乾隆的眼帘。永琪“少习骑射，娴国语(满语)”，乾隆二十八年端午，圆明园九洲清晏殿失火，永琪背着乾隆逃出火场。乾隆三十年十一月，永琪被封为和硕荣亲王，这是乾隆第一次封在世的皇子为亲王。可惜永琪没有遗传到父亲的长寿基因，在封亲王的次年三月初八病卒，年仅26岁。
乾隆五十八年，马戛戈尔尼谒见乾隆，83岁的乾隆依然忘不掉永琪雄姿英发的身影，谈起了当年欲立永琪为储君的陈年往事。而这时，距永琪“因病旋逝”已经27年了。
永琪辞世后，乾隆的皇子只剩下了七个。其中，皇六子和皇四子多年前就已前后被过继给皇族长辈，皇十二子永璂也因皇后那拉氏的“严重失礼”而被剥夺继承权，皇十七子尚在襁褓中，有可能被立为皇储的只有皇八子、皇十一子和皇十五子。
乾隆对这三个儿子都不太满意。在他们身上，乾隆看不到这个泱泱大国朝气蓬勃的未来。考察七年后，疲惫不堪的乾隆已是63岁的老人了，曾经命令大臣们不可再提的立储之事，已无法回避。他终于作出了一个艰难的决定，密立皇十五子永琰为皇嗣。
网络配图
曾出使清朝的朝鲜使臣这样评价三位皇子：皇八子“性行乖戾，屡失上意”;皇十一子“柔而无断”;而皇十五子永琰“度量豁达，相貌奇伟，皇上以类己，最爱”。或许，这也是乾隆自己的想法。当然，可能还有一个原因，乾隆和皇十五子的生母令皇贵妃感情深厚，而皇八子和皇十一子的生母淑嘉皇贵妃早在18年前就去世了。
乾隆最终抛弃了前朝立嫡立长的旧例，开始挑选贤能的皇嗣，不得不说是一种进步。在当时的世界背景下，清朝能创出康乾盛世的景象，实在不易。而接下来的皇十五子永琰，的确没太让乾隆失望，皇帝做得中规中矩。但一个中规中矩的皇帝是无法挽回清朝走下坡路的颓势。思想上固步自封，朝政上日益腐败，曾让乾隆自豪的大清朝终究显出了暮年的光景。