早期经历
张释之早年和他的哥哥张仲生活在一起。由于家中资财颇多，就捐官做了骑郎，侍奉汉文帝。张释之为官十年，默默无名，未得升迁，耗费了不少钱财，张释之深感不安，打算辞官回家。中郎将袁盎知道他德才兼备，惋惜他的离去，就请求汉文帝调补他做谒者。
张释之朝见文帝后，就陈说利国利民的大计，汉文帝说：“不要高谈阔论，说些接近现实生活、能立刻实施的事吧。”于是，张释之就秦亡汉兴之事发表了自己的见解，汉文帝听后很满意，就任命他做了谒者仆射。
崭露头角
上林观虎
张释之任谒者仆射时，跟随汉文帝登临上林苑观虎，文帝就虎圈所养动物提了十几个问题，上林尉环顾左右，不能回答。看管虎圈的啬夫从旁代上林尉回答这些问题，答得极周全，想借此彰显自己熟知业务、有问必答。汉文帝认为做官就应该这样，上林尉不合格，下诏命令张释之任命啬夫顶替上林尉。
张释之不赞同汉文帝的做法，就问汉文帝如何看待绛侯周勃和东阳侯张相如，汉文帝回答说是年高德劭的长者。张释之就说：“周勃和张相如能被称为长者，但二人都不善于言谈，现在这样做，难道让人们效法伶牙俐齿的啬夫吗？”随后，张释之援引历史，以秦朝重用徒具文笔、毫无恻隐之心的文书官吏，终致亡国为例，建议文帝不要因为啬夫伶牙俐齿就越级提拔，以免上行下效，树立不正之风。汉文帝采纳了张释之的建议，没有提拔啬夫。
出了上林苑，文帝驾车回宫，让张释之陪乘。路上，汉文帝问张释之秦朝执政的失败之处，张释之据实而言。汉文帝非常满意，就任命张释之做了公车令。