嚴光字子陵，又名嚴遵，是會稽餘姚人。年輕時便很有名，與光武帝同在太學學習。到了光武帝即位，便改換了姓名，隱居起來不再出現。光武帝想到他的賢能，就下令按照嚴光的形貌在全國查訪他。後來齊國上報説：“有一位男子，披着羊皮衣在水邊釣魚。”光武帝懷疑那就是嚴光，便準備了小車和禮物，派人去請他。請了三次才到，安排在京師護衞軍營住下，供給牀褥等用具，宮中管膳食的官每天早晚供給酒食。
司徒侯霸與嚴光是老相識，派人送信給嚴光。送信的人便對嚴光説：“侯公聽説先生到了，一心想立刻就來拜訪，限於朝廷的有關制度不便，所以不能來。希望能在天黑後，親自來向你表達歉意。”嚴光不説話，將書簡扔給送信的人。口授説：“君房先生：官位到了三公，很好。懷着仁心輔助仁義天下都高興，拍馬屁看人臉色辦事可就要身首異處了。”
侯霸收到信看過，封好了再上給光武帝。光武帝笑着説：“這狂傢伙還是老樣子。”當天就親自來到嚴光居住的館舍，嚴光睡着不起來，光武帝就進了他的卧室，摸着嚴光的腹部説：“唉呀嚴子陵，就不能相幫着做點事嗎？”嚴光又睡着不講話，過了好一會兒，才睜開眼睛，看了好一會，説：“過去唐堯那樣顯著的品德，巢父許由那樣的人聽説要授給官職尚且去洗耳朵。讀書人本各有志，何以要到強迫人家做官的地步？”光武帝説：“嚴子陵，我竟然不能使你作出讓步？”於是便上車，歎息着離開了。
後來又請嚴光到宮裏去，談説過去的交往舊事，兩人在一起相處好多天。有次光武帝隨意地問嚴光：“我比過去怎麼樣？”嚴光回答説：“陛下比過去稍稍有點變化。”説完話便睡在一起。嚴光睡熟了把腳壓在光武帝的肚子上。第二天，太史奏告，有客星衝犯了帝座，很厲害。光武帝笑着説：“我的老朋友嚴子陵與我睡在一起罷了。”
授予諫議大夫的職務，嚴光不肯屈意接受，就在富春山過着耕種生活，後人把他垂釣的地方命名為嚴陵瀨。建武十七年，又一次徵召他，嚴光沒有去。活到八十歲，在家中去世。
