据史书记载，当时大臣李回进谏说：“太祖不把皇位传给自己的儿子，而是传给了弟弟太宗，是因为兄弟二人手足情深，陛下如今要立嗣，不妨效法太祖。”
还有的大臣直接指出，太祖赵匡胤的后代如今默默无闻，如同凡夫俗子一样，于情于理都是说不过去的，为了宋室江山的千秋大业，应该从太祖一支中选嗣。
高宗赵构见没有别的办法，同时为了博得一个好的名声，便接受了群臣的建议，与宋太宗的后代不同，当时宋太祖的后代有上千人之多，宋高宗想在这一千多人之中选出合适的人选亦并非易事，经过一番仔细的搜寻，在太祖赵匡胤的后裔中选嗣，于是就按着辈分的大小，在“伯”字辈的皇族中挑选了七岁以下的男童十人，再经仔细查看后，最后留下了一胖一瘦两个小孩，胖的是伯玖，瘦的是伯琮。
刚开始，宋高宗对赵眘并没有太大的好感，而是中意胖点的小孩，按理说赵眘继承皇位的机会应当也就到此画上了句号，但是也许冥冥之中自有天意，正在他放弃做皇帝的梦想之时，发生了一件微小的事情，进而使整个局面发生了巨大的变动。
事情的经过是这样的：有一次，宋高宗将赵眘和胖小孩叫到一起，恰巧此时闯进了一只猫，赵眘正全神贯注地听宋高宗讲话，猫闯进来后连眼睛都没有眨一下;而胖小孩却不同，猫闯进来后他显得很惊慌，再也无心听宋高宗讲话，连忙伸脚去踢猫，动作极其粗鲁，胖小孩这一粗鲁的举动彻底葬送了高宗原本对他仅存的一丝好感，赵构看了很不高兴，说：“如此轻狂，怎能担当社稷重任!”于是便留下了伯琮，将他以候选人的身份养育在宫中。
伯琮于建炎元年(1127年)生于秀州(今浙江嘉兴)，他的大世祖是太祖赵匡胤的第四个儿子八贤王赵德芳，伯琮入宫后，天资聪颖，博闻强记，异于常人，很受赵构的喜欢，受到后宫的重点培养，高宗派人以行宫新建书院为资善堂，作为伯琮读书的地方，并派学士富才赡作为赞读，伯琮也很争气，尊师重教，勤奋好学，随着年龄的增长，很快便成长起来。
按理说，伯琮被留在宫中之后，皇位继承人非他莫属了，但是他在宫中待了将近有20年，却没有被确立为太子，这让人匪夷所思。
究其原因，主要有两个方面：其一是赵眘非宋高宗亲生，宋高宗始终对他怀有成见，他希望多给自己留些时间，渴望出现自己能生育的奇迹;其二是宋高宗的母亲韦太后不喜欢赵眘，而喜欢另一个养育在宫中的赵琢，她一直劝高宗立赵琢为太子，，而深受赵构重用的秦桧则主张立伯玖为太子，因为伯琮对秦桧充满敌意，坚决主张抗击金国。，这使宋高宗在立太子的问题上一直摇摆不定，不知如何取舍。
最终，他想出了一个既可以不使韦太后生气，又可以考验赵眘和赵琢的万全之策：给他们两人分别送去10名绝色处女，待半个月之后再将这些绝色佳丽召回来认真查验，谁破处最少，谁将是皇位的最佳人选。
宋高宗想出的这个招数很管用，效果也很明显，送给赵眘的十个佳丽被召回来之后完好如初，而送给赵琢的十个佳丽却全部都不再是处女，最终，赵眘通过了宋高宗的考验，顺利地被立为太子，直至登上皇帝的宝座。
在封建社会，皇子皇孙地位尊贵，有个三妻四妾本是极为平常的事，贪婪女色、留连宫帏也不是什么大不了的事情，宋高宗何以竟用这种方法来确定太子人选呢?原因有二：
一是北宋以来，理学兴盛，以朱熹为代表的理学家提出“存天理，灭人欲”的理学观念，要求士大夫克己守礼，非礼勿听，非礼勿视，非礼勿动，禁欲主义成为伦理纲常的基本要求，朝廷上也要求皇族大臣清心寡欲、修身养性，从而形成了一种道德评判，所以伯琮的不近女色就成为道德高尚、品质端正的代表，受到高宗的钟爱。
二是高宗本来就喜欢伯琮，伯琮对高宗赵构非常有礼，孝敬有加，对高宗的教诲言听计从，时时流露出对高宗知遇的感激之情，而且伯琮对时局形势的分析，外交国策的建议每每让高宗深以为是，还曾帮助他识破了秦桧暗中谋划让自己的儿子做宰相的计划，展现出卓越的才华，所以他内心早已决定立他为太子，高宗深知伯琮不是好色之徒，宫闱生活尚称严谨，因而采用了“处女”考验的办法，也幸亏伯琮听从了老师史浩的建议，在美色面前严格自制，经受住了这次“处女”考验，从而登上了太子的宝位。
绍兴三十二年(1162年)，赵构正式册立伯琮为太子，改名为赵昚，同年，高宗赵构宣布退位，将皇位传给了赵昚，是为宋孝宗，宋孝宗即位后，立即给岳飞平反，又将秦桧时期制造的冤假错案，全部予以昭雪，并重新拜主战大臣张浚为相，整顿吏治，重用主战派，严肃军纪，培养军事人才，开始积极抗金，收复失地，成为南宋比较有作为的一位皇帝。
后人评价赵构，说他一生行事，唯选太子最称公允，能上慰天地，下慰祖宗，仅此而已，然而，一则有宋太祖的先例，二来自己没有儿子，所以选立孝宗，也实在是出于无奈罢了。