不久之后，太子与梁王同乘一辆车上朝，在司马门不下车。于是张释之追上去阻止太子和梁王，不让他们进入宫殿大门，并且向汉文帝弹劾他们“到了司马门还不下车，是大不敬”。薄太后也听说了这件事，为此汉文帝摘下皇冠，因为自己教导儿子不严谨而向母亲谢罪。薄太后于是派使者奉圣旨赦免太子和梁王，这才让他们进殿。汉文帝因此更加认为张释之是奇才，任命他做中大夫。不久之后，又升他做中郎将。
张释之跟随汉文帝去霸陵，皇上对群臣说：“唉！用北山上的石料为我做棺椁，把苎麻的麻絮砍碎填充在其中，再用漆把它们粘合在一起，这样就坚固得没有人能打开了吧？”随行的人都说：“这样做最好。”张释之说：“如果有人想要打开，就算像南山那样坚固也能找到缝隙；如果没人想要打开，即使没有石头做成的棺椁，又怕什么呢？”汉文帝认为张释之说得对。
当年，升张释之做廷尉。皇上出行到中渭桥，有一个人在桥下走，让替皇帝拉车的马受了惊。于是汉文帝派骑兵抓住那个人，把他交给廷尉治罪。张释之上奏：“这个人冒犯皇帝的车驾，应该罚钱。”皇上愤怒地说：“这个人惊动了我的马，多亏这匹马性格柔和，如果是别的马，一定就会让我受伤了。可廷尉却只是罚他一点钱？”张释之说：“法律，是天下的公理。如今的法律是这样说的，如果判罚得太重，是让百姓不相信法律了。况且那个人冒犯皇帝车驾的时候，皇上派人杀了他就算了。如今已经把他交给了我这个廷尉，所谓廷尉，就是要让天下公平的官员，只要稍有倾斜，天下人用法就可轻可重了，百姓会不知所措的，希望陛下谨慎处理。”皇上思索了很久才说：“做廷尉就应该这样。”