张行成早年曾师从河间名士刘炫，隋末时被举为孝廉。他在谒者台担任散从员外郎，隋亡后又效力于王世充所建立的郑国，授为度支尚书。
武德四年(621年)，李世民灭亡郑国，逼降王世充。张行成也归顺唐朝，因曾是隋朝官员，被任命为谷熟县尉。他家境贫寒，代替县中计吏留在京城长安，并参加制举考试，结果考中乙科，被改任为陈仓县尉。武德七年(624年)，张行成得到吏部侍郎张锐的举荐，调任富平县主簿。武德九年(626年)，李世民继位，史称唐太宗。后来，张行成在富平县任职期满，被召入朝中，授为殿中侍御史。他执法严明，弹劾官员，不畏权贵，深得唐太宗的赏识，后升任给事中，参与朝中大政方针的议论。
贞观十七年(643年)，唐太宗立晋王李治为皇太子，并挑选朝中重臣到东宫任职。张行成时任刑部侍郎，以本职兼任太子少詹事，成为李治的东宫属官。贞观十九年(645年)，唐太宗东征高句丽，命皇太子李治留守定州监国，并让张行成与高士廉、刘洎、马周、高季辅一同辅佐太子，执掌机要政务。后来，张行成又赴行在觐见唐太宗，获得大批赏赐。贞观二十年(646年)，唐太宗返回长安，以张行成为河南巡察大使。张行成回朝后，又代理尚书左丞。是年六月，唐太宗巡视灵州(治今宁夏灵武)，命李治随行。张行成却建议让太子留京监国，接待百官，决断政务。唐太宗采纳了张行成的意见，还加封他为银青光禄大夫。
贞观二十三年(649年)，唐太宗病逝。太子李治在张行成与高季辅的拥戴下，即位于太极殿，史称唐高宗。他任命张行成为侍中，兼刑部尚书，并封北平县公，监修国史。永徽二年(651年)，张行成升任尚书右仆射、同中书门下三品。永徽三年(652年)，唐高宗立陈王李忠为皇太子，命张行成兼任太子少傅。
永徽四年(653年)九月，张行成病逝于尚书省官署，终年六十七岁。唐高宗废朝三日，赏赐东园秘器，命九品以上官员登门致哀，而后又命宫中女官到张府督理丧事，以少牢之礼祭祀。张行成被追赠为开府仪同三司、并州都督，谥号为定。 弘道元年(683年)，张行成获许配享太庙，附祭于高宗庙廷。