严子陵少年时就很有才气，与刘秀（后来的汉光武帝）是同学好友。

刘后来登基做了皇帝，回忆起少年时期的往事，想起严子陵，便多次征召其为谏议大臣，严子陵婉拒之并隐居富春江一带，终老于林泉间；其因此被时人及后世传颂为不慕权贵追求自适的榜样。