腹部，说：“子陵！不肯出山相助，为何？”严光睡而不应，过了半天，慢慢睁开眼：“昔唐尧著德，巢父洗耳。士故有志，何至强迫！”刘秀说：“子陵！我竟不能请你出山么？”于是叹息而去。后来，刘秀仍不肯放弃，又请严光到皇宫，两人同卧回忆往事时，严光将脚搭在刘秀的肚子上，皇帝也没有脾气。但即便如此，仍然无法说动严光出仕。
严光是中国历史上第一个最为纯粹的隐士。他的隐逸与政治立场没有关系，而是完全出自于个人的价值观。最后，他离开洛阳，返回富春江，在那里以垂钓度过余生。严光对后世士人影响极大，成为东汉以后隐士的标杆。北宋范仲淹在《严先生祠堂记》中写道：“云山苍苍，江水泱泱；先生之风，山高水长。”但后世对严光于清明之世、遇英明之主仍拒而不出的做法持严厉批评态度。南宋杨万里《读〈严子陵传〉》：“客星何补汉中兴？空有清风冷似冰。早遣阿瞒移汉鼎，人间何处有严陵！”朱元璋《严光论》说得更厉害：“汉之严光，当国家中兴之初，民生凋敝，人才寡少，为君者虑，恐德薄才疏，致民生之受患，礼贤之心甚切，是致严光、周党于朝。何期至而大礼茫然无所知，故纵之，飘然而往。却仍凄岩滨水以为自乐……假使赤眉、王郎、刘盆子等辈混淆