南宋开禧元年(1205)入太学,绍定二年(1229)登黄朴榜进士,授江西南安军教授。后知四川嘉定,再升总领淮西军马钱粮,转大理司直枢密院编修。此后曾改知赣州、苏州、安庆、平江等地。知安庆时兼任淮浙提刑点浙西刑狱;知平江时兼淮浙发运使。贾似道当权于朝,四处网罗人才以为己用,有意拉拢郑霖。但郑霖深恶贾似道恃世弄权,不愿与其往来,后贾似道以"司都"、"监礼部郎官"等职授郑霖,皆拒不就职。贾怀恨在心,遂诬郑霖造登台桥一事为"积粮聚众,图谋不轨"。理宗偏听不察,竟加杀害。时年七十二岁。数年后,理宗见到郑霖遗表,幡然悔悟,昭雪其冤,追赠中奉大夫龙图阁直学士,并赐葬西岙集福寺前。
余与嵇康、吕安居止接近,其人并有不羁之才。然嵇志远而疏,吕心旷而放,其后各以事见法。嵇博综技艺,于丝竹特妙。临当就命,顾视日影,索琴而弹之。余逝将西迈,经其旧庐。于时日薄虞渊,寒冰凄然。邻人有吹笛者,发音寥亮。追思曩昔游宴之好,感音而叹,故作赋云:
将命适于远京兮,遂旋反而北徂。
济黄河以泛舟兮,经山阳之旧居。
瞻旷野之萧条兮,息余驾乎城隅。
践二子之遗迹兮,历穷巷之空庐。
叹黍离之愍周兮,悲麦秀于殷墟。
惟古昔以怀今兮,心徘徊以踌躇。
栋宇存而弗毁兮,形神逝其焉如。
昔李斯之受罪兮,叹黄犬而长吟。
悼嵇生之永辞兮,顾日影而弹琴。
托运遇于领会兮,寄余命于寸阴。
听鸣笛之慷慨兮,妙声绝而复寻。
停驾言其将迈兮,遂援翰而写心。