出身显赫
张贺，杜陵（今陕西西安东南）人，其父就是汉武帝著名的酷吏张汤。张汤汉武帝时出任御史大夫，阿法以媚武帝，深得汉武帝的崇信。但后来却与丞相庄青翟产生嫌隙 ，而丞相府的朱买臣等三长史素与张汤不合 ，于是合谋害张汤，张汤不能自辩，于是自杀。张汤死后，家产不超过五百金。事后武帝追查，丞相庄青翟，三长史皆被处死。武帝因此提拔了张贺的弟弟张安世。
张贺与卫太子刘据一向交好，为太子宾客。巫蛊之祸，卫太子逃至湖地走投无路自杀，而其门皆被下令处死。张安世上书为哥哥求情，因此张贺得以被赦免，但身下蚕室，被处以宫刑。