據史書記載，當時大臣李回進諫説：“太祖不把皇位傳給自己的兒子，而是傳給了弟弟太宗，是因為兄弟二人手足情深，陛下如今要立嗣，不妨效法太祖。”
還有的大臣直接指出，太祖趙匡胤的後代如今默默無聞，如同凡夫俗子一樣，於情於理都是説不過去的，為了宋室江山的千秋大業，應該從太祖一支中選嗣。
高宗趙構見沒有別的辦法，同時為了博得一個好的名聲，便接受了羣臣的建議，與宋太宗的後代不同，當時宋太祖的後代有上千人之多，宋高宗想在這一千多人之中選出合適的人選亦並非易事，經過一番仔細的搜尋，在太祖趙匡胤的後裔中選嗣，於是就按着輩分的大小，在“伯”字輩的皇族中挑選了七歲以下的男童十人，再經仔細查看後，最後留下了一胖一瘦兩個小孩，胖的是伯玖，瘦的是伯琮。
剛開始，宋高宗對趙眘並沒有太大的好感，而是中意胖點的小孩，按理説趙眘繼承皇位的機會應當也就到此畫上了句號，但是也許冥冥之中自有天意，正在他放棄做皇帝的夢想之時，發生了一件微小的事情，進而使整個局面發生了巨大的變動。
事情的經過是這樣的：有一次，宋高宗將趙眘和胖小孩叫到一起，恰巧此時闖進了一隻貓，趙眘正全神貫注地聽宋高宗講話，貓闖進來後連眼睛都沒有眨一下;而胖小孩卻不同，貓闖進來後他顯得很驚慌，再也無心聽宋高宗講話，連忙伸腳去踢貓，動作極其粗魯，胖小孩這一粗魯的舉動徹底葬送了高宗原本對他僅存的一絲好感，趙構看了很不高興，説：“如此輕狂，怎能擔當社稷重任！”於是便留下了伯琮，將他以候選人的身份養育在宮中。
伯琮於建炎元年(1127年)生於秀州(今浙江嘉興)，他的大世祖是太祖趙匡胤的第四個兒子八賢王趙德芳，伯琮入宮後，天資聰穎，博聞強記，異於常人，很受趙構的喜歡，受到後宮的重點培養，高宗派人以行宮新建書院為資善堂，作為伯琮讀書的地方，並派學士富才贍作為贊讀，伯琮也很爭氣，尊師重教，勤奮好學，隨着年齡的增長，很快便成長起來。
按理説，伯琮被留在宮中之後，皇位繼承人非他莫屬了，但是他在宮中待了將近有20年，卻沒有被確立為太子，這讓人匪夷所思。
究其原因，主要有兩個方面：其一是趙眘非宋高宗親生，宋高宗始終對他懷有成見，他希望多給自己留些時間，渴望出現自己能生育的奇蹟;其二是宋高宗的母親韋太后不喜歡趙眘，而喜歡另一個養育在宮中的趙琢，她一直勸高宗立趙琢為太子，，而深受趙構重用的秦檜則主張立伯玖為太子，因為伯琮對秦檜充滿敵意，堅決主張抗擊金國。，這使宋高宗在立太子的問題上一直搖擺不定，不知如何取捨。
最終，他想出了一個既可以不使韋太后生氣，又可以考驗趙眘和趙琢的萬全之策：給他們兩人分別送去10名絕色處女，待半個月之後再將這些絕色佳麗召回來認真查驗，誰破處最少，誰將是皇位的最佳人選。
宋高宗想出的這個招數很管用，效果也很明顯，送給趙眘的十個佳麗被召回來之後完好如初，而送給趙琢的十個佳麗卻全部都不再是處女，最終，趙眘通過了宋高宗的考驗，順利地被立為太子，直至登上皇帝的寶座。
在封建社會，皇子皇孫地位尊貴，有個三妻四妾本是極為平常的事，貪婪女色、留連宮幃也不是什麼大不了的事情，宋高宗何以竟用這種方法來確定太子人選呢？原因有二：
一是北宋以來，理學興盛，以朱熹為代表的理學家提出“存天理，滅人慾”的理學觀念，要求士大夫克己守禮，非禮勿聽，非禮勿視，非禮勿動，禁慾主義成為倫理綱常的基本要求，朝廷上也要求皇族大臣清心寡慾、修身養性，從而形成了一種道德評判，所以伯琮的不近女色就成為道德高尚、品質端正的代表，受到高宗的鐘愛。
二是高宗本來就喜歡伯琮，伯琮對高宗趙構非常有禮，孝敬有加，對高宗的教誨言聽計從，時時流露出對高宗知遇的感激之情，而且伯琮對時局形勢的分析，外交國策的建議每每讓高宗深以為是，還曾幫助他識破了秦檜暗中謀劃讓自己的兒子做宰相的計劃，展現出卓越的才華，所以他內心早已決定立他為太子，高宗深知伯琮不是好色之徒，宮闈生活尚稱嚴謹，因而採用了“處女”考驗的辦法，也幸虧伯琮聽從了老師史浩的建議，在美色面前嚴格自制，經受住了這次“處女”考驗，從而登上了太子的寶位。
紹興三十二年(1162年)，趙構正式冊立伯琮為太子，改名為趙昚，同年，高宗趙構宣佈退位，將皇位傳給了趙昚，是為宋孝宗，宋孝宗即位後，立即給岳飛平反，又將秦檜時期製造的冤假錯案，全部予以昭雪，並重新拜主戰大臣張浚為相，整頓吏治，重用主戰派，嚴肅軍紀，培養軍事人才，開始積極抗金，收復失地，成為南宋比較有作為的一位皇帝。
後人評價趙構，説他一生行事，唯選太子最稱公允，能上慰天地，下慰祖宗，僅此而已，然而，一則有宋太祖的先例，二來自己沒有兒子，所以選立孝宗，也實在是出於無奈罷了。
