严光字子陵，又名严遵，是会稽余姚人。年轻时便很有名，与光武帝同在太学学习。到了光武帝即位，便改换了姓名，隐居起来不再出现。光武帝想到他的贤能，就下令按照严光的形貌在全国查访他。后来齐国上报说：“有一位男子，披着羊皮衣在水边钓鱼。”光武帝怀疑那就是严光，便准备了小车和礼物，派人去请他。请了三次才到，安排在京师护卫军营住下，供给床褥等用具，宫中管膳食的官每天早晚供给酒食。
司徒侯霸与严光是老相识，派人送信给严光。送信的人便对严光说：“侯公听说先生到了，一心想立刻就来拜访，限于朝廷的有关制度不便，所以不能来。希望能在天黑后，亲自来向你表达歉意。”严光不说话，将书简扔给送信的人。口授说：“君房先生：官位到了三公，很好。怀着仁心辅助仁义天下都高兴，拍马屁看人脸色办事可就要身首异处了。”
侯霸收到信看过，封好了再上给光武帝。光武帝笑着说：“这狂家伙还是老样子。”当天就亲自来到严光居住的馆舍，严光睡着不起来，光武帝就进了他的卧室，摸着严光的腹部说：“唉呀严子陵，就不能相帮着做点事吗?”严光又睡着不讲话，过了好一会儿，才睁开眼睛，看了好一会，说：“过去唐尧那样显著的品德，巢父许由那样的人听说要授给官职尚且去洗耳朵。读书人本各有志，何以要到强迫人家做官的地步?”光武帝说：“严子陵，我竟然不能使你作出让步?”于是便上车，叹息着离开了。
后来又请严光到宫里去，谈说过去的交往旧事，两人在一起相处好多天。有次光武帝随意地问严光：“我比过去怎么样?”严光回答说：“陛下比过去稍稍有点变化。”说完话便睡在一起。严光睡熟了把脚压在光武帝的肚子上。第二天，太史奏告，有客星冲犯了帝座，很厉害。光武帝笑着说：“我的老朋友严子陵与我睡在一起罢了。”
授予谏议大夫的职务，严光不肯屈意接受，就在富春山过着耕种生活，后人把他垂钓的地方命名为严陵濑。建武十七年，又一次征召他，严光没有去。活到八十岁，在家中去世。