杨浑之有一个不错的出身，非常不错。其家世，可以追溯到西汉的四知先生“杨震”。此后，弘农杨氏名人辈出，不绝如缕。杨浑之的父亲杨凭，叔父杨凝、杨凌都以擅长诗文著称，是当时公认的诗文名家。当年，杨凭三兄弟同时中第，时人号曰“三杨”。三杨既是手足，又是同年，一时之间传为美谈。这还不算什么，因为，杨浑之还有一个姐夫，一个更加有名的姐夫，这个比三杨名气还大的人，就是柳宗元，一代文宗柳宗元。

杨浑之身边有四位文坛大家，与他们交往密切的也都是此道中人。按理说，就是熏，也能把杨浑之熏成半个家。可惜，老子是英雄，儿子未必就一定会是好汉，甚至有可能是孬种。杨家的梧桐树上，偏偏就飞出了一只瞎家雀。

这个不给祖宗长脸的瞎家雀，当然就是杨浑之。虽然，身边人都很有学问，偏偏杨浑之就是没学问，虽然不是文盲，可也好不了多少。

虽然没有继承父亲的学问，可是父亲的其它东西，杨浑之还是继承了一些，比如说，字画，名人字画。