他性格豪放，文思敏捷，酒酣作文，挥笔自如。高宗时，官右御史。他喜饮酒，绝不失言。在醉酒后，常有人向他探问宫廷人事，只望问者，概不回答。后擢升为直学士，参与朝廷机密要事。时人称为“北门学士”，并传颂一首民谣：“前有胡楚宾，后有李翰林，词同三峡水，字值万万金。”
胡楚宾死后，葬于杉邬坑（今贵池区棠溪乡），著有《法师魏隆墓铭》和《乐书》等传世。
