张亮是郑州荥阳人，出身贫寒，家里世代以农为业，但他“倜傥有大节”，史书上还说他“外敦厚而内怀诡诈”，这句应该是张亮被杀后，史官们给的结论。隋朝末年，瓦岗军席卷河南地区，张亮投奔李密，但一开始未被重用。一次张亮发现了一场军中叛乱的阴谋，他报告给了李密，因此得到重用。
张亮最初隶属于徐楙功麾下，后来徐楙功归顺唐朝，“亮颇赞成其事，乃授郑州刺史”。在房玄龄、徐楙功的举荐下，唐太宗李世民将张亮封为秦府车骑将军，引为心腹。李世民与李建成发生矛盾后，李世特意派张亮镇守洛阳，“统左右王保等千余人，阴引山东豪杰以俟变”。
李世民即位后，张亮作为心腹，得到重用，而且官位、爵位迅速提升。玄武门之变后，张亮才被封为郡公，此时徐楙功、程咬金、秦琼等人早已经是国公了，但到凌烟阁功臣排位时，张亮排在第16位，程咬金排在19位，徐楙功排在23位，秦琼排在第24位。
但到了贞观二十年，张亮居然被推到西市，被当众斩首，“籍没其家”，他到底犯了什么罪呢?按照史书上的说法， 张亮犯了谋反之罪，事情的过程大概是这样的。贞观二十年，有个叫常德玄的举报张亮，说他和几个方士意图不轨，整天讨论图谶，“并言亮有义儿五百人”。
李世民于是派人去调查，把那个俩个方士逮了起来，结果两个方士承认有这么回事，“公颖及常证其罪”。张亮对此解释道：“此二人畏死见诬耳。”接着又陈述自己开国有功，应该从轻发落。百官们不敢轻易言罪，都等着皇帝的指示，这时候李世民说：“亮有义儿五百，畜养此辈，将何为也?正欲反耳。”
百官一听皇帝既然说张亮要谋反，自然要求处以死刑，“命百僚议其狱，多言亮当诛”。但只有一个人反对，他就是将作少匠李道裕，他认为“亮反形未具，明其无罪”。但此时李世民正在气头上，哪管那么多，于是张亮被处死。
一年后，刑部侍郎有缺，李世民想起了李道裕，他对百官说：“往者李道裕议张亮云'反形未具'，此言当矣。虽不即从，至今追悔。”也就是说，李世民对于处死张亮之事感到后悔，特别是没有听从李道裕的话。所谓张亮有五百义子都是道听途说罢了。