謝公在東山，朝命屢降而不動。後出為桓宣武司馬，將發新亭，朝士鹹出瞻送。高靈時為中丞，亦往相祖。先時，多少飲酒，因倚如醉，戲曰：“卿屢違朝旨，高臥東山，諸人每相與言：‘安石不肯出，將如蒼生何？’今亦蒼生將如卿何？”謝笑而不答。

　　何晏、鄧揚、夏侯玄並求傅嘏交，而嘏終不許。諸人乃因荀粲說合之，謂嘏曰：“夏侯太初壹時之傑士，虛心於子，而卿意懷不可，交合則好成，不合則致隙。二賢若穆，則國之休，此藺相如所以下廉頗也。”傅曰：“夏侯太初，誌大心勞，能合虛譽，誠所謂利口覆國之人。何晏、鄧揚有為而躁，博而寡要，外好利而內無關籥，貴同惡異，多言而妒前。多言多釁，妒前無親。以吾觀之：此三賢者，皆敗德之人耳！遠之猶恐罹禍，況可親之邪？”後皆如其言。

　　謝靈運好戴曲柄笠，孔隱士謂曰：“卿欲希心高遠，何不能遺曲蓋之貌？”謝答曰：“將不畏影者，未能忘懷。”