张臶字子明，是钜鹿人。他年少时就在太学就读，而且学富五车，在学成之后张臶主动选择回到自己老家。话说钜鹿有如此人才，袁绍在占领北方后多次想要征辟张臶，但张臶拒绝答应任命，并为了耳根子清静，迁徙到了上党地区居住。可谁知，上党地区当时的实际控制人是袁绍的外甥高干，结果高干立刻上表天子封张臶为乐平令，张臶再次拒绝并迁徙到常山地区。张臶在常山，已经通过自己的才学感召，门徒多达数百人了，自此张臶迁到了任县居住。
曹操被封为丞相后，也听说了张臶的名声，并主动征辟他，但张臶仍然拒绝任命。岁月如梭，曹操的孙子曹叡称帝后，曹叡下诏全国各地找寻能够消灾的隐士。当时张臶的郡中管理多次找到张臶请他出山，但张臶一直称自己生病拒绝出山。
广平太守卢毓到职三天后，当地主簿告知可以按照以前的规矩，送交拜帖去见张臶。卢毓为了结交好张臶，教导手下主簿指出：“张先生上不服侍天子，下不伺候诸侯，哪能仅仅送交拜帖呢?”于是张臶派遣主簿带着信，羊和酒高规格拜访。
青龙四年，曹叡下诏指出：“张掖郡黑河中出现了宝石背负的图像，图像画的是一只灵龟，立于川西，青色的质地，素色的文路，又画有麟凤龙马，形状鲜明，文字宣告天命，粲然可观，意义著明。太史令高堂隆表示，这种宝物的显示是古代圣明皇帝所没有蒙受过的，实在是大魏的吉祥命运，东序的罕见之宝。曹叡将诏书颁布于世，本是为了强调大魏继承汉朝，得国正统之意。
诏书公布天下，却遭受了很多人议论。当时任县县令于绰就将诏书的内容转述给张臶，张臶秘密地对于绰说：“神明只预言未来，而不追述以往。先用祯祥之兆预告未来，然后兴盛还是衰落才会随之而来。汉朝灭亡已久，曹魏已得天下，还追述什么兴废之兆呢?这块宝石今天的变异，只是将来之吉祥的征兆。”后来司马氏果然取代了曹魏。
张臶很长寿，不过他却能够预料到自己的寿终之日。正始元年，当时有戴胜鸟在张臶家门北面筑巢。张臶对门人说：“戴胜鸟属阳，却在属阴的背面筑巢，这是凶兆啊。”于是他弹琴唱歌，作诗两篇，十天后就去世了，享年一百零五岁。
张臶去世后，恰逢广平太守王肃上任，王肃通过教导下人，对张臶表达了敬意，并给他的家属荣誉和特殊照顾。