三十年，拜为太常。荣初遭仓卒，与族人桓元卿同饥厄，而荣讲诵不息。元卿嗤荣曰：“但自苦气力，何时复施用乎？”荣笑不应。及为太常，元卿叹曰：“我农家子，岂意学之为利乃若是哉！”
显宗即位，尊以师礼，甚见亲重，拜二子为郎。荣年逾八十，自以衰老，数上书乞身，辄加赏赐。乘与尝幸太常府，令荣坐东面，设几仗，会百官骠骑将军东平王苍以下及荣门生数百人，天子亲自执业，每言辄曰“大师在是”。既罢，悉以太官供具赐太常家。其恩礼若此。
永平二年，三雍初成，拜荣为五更。每大射养老礼毕，帝辄引荣及弟子升堂，执经自为下说。乃封荣为关内侯，食邑五千户。
荣每疾病，帝辄遣使者存问，太官、太医相望于道。及笃，上疏谢恩，让还爵士。帝幸其家问起居，入街下车，拥经而前，抚荣垂涕，赐以床茵、帷帐、刀剑、衣被，良久乃去。自是诸侯将军大夫问疾者，不敢复乘车到门，皆拜床下。荣卒，帝亲自变服，临丧送葬，赐冢茔于首山之阳。除兄子二人补四百石，都讲生八人补二百石，其余门徒多至公卿。子郁嗣。
