丞相胡惟庸初任宁国知县，是因李善长的推荐，又被提升为太常少卿，后升任左丞相，两人因此互相往来。而李善长的弟弟李存义之子李佑，又是胡惟庸的侄女婿。[22] 洪武十三年(1380年)，胡惟庸因谋反被诛杀，受牵连而处死者甚多，但李善长仍然如故。御史台缺中丞，李善长暂理御史台事务，多次向太祖提出建议。洪武十八年(1385年)，有人告发李存义父子实为胡惟庸的党羽，明太祖下诏免死，将他们安置在崇明，但李善长没有表示感谢，太祖因而怀恨在心。
洪武二十三年(1390年)，李善长已经七十七岁，因为年老约束不了部下。曾想建造府宅，从信国公汤和那里借卫士三百人，汤和悄悄告诉他所听到的事。四月，京城有百姓受株连而被发配到边疆，李善长屡次请求赦免其亲戚丁斌等。太祖大怒，将丁斌治罪。丁斌以前在胡惟庸家做的事，他供出李存义等过去与胡惟庸互相交往的情况。于是太祖下令将李存义父子逮捕审讯，他们的供词牵连到李善长，供词上说：“胡惟庸企图谋反，派李存义暗地里劝说李善长。李善长惊叱道‘：你这么说到底为了什么?你们一定要慎重，否则九族都要被灭。’不久，又派李善长的老友杨文裕去劝他说：‘事成之后，当以淮西之地封你为王。’李善长惊骇不已，仍不同意，却又颇为心动。
胡惟庸于是亲自去劝说李善长，仍然不同意。过了一段时间后，胡惟庸又派李存义去劝说，李善长叹道：‘我已经老了。我死之后，你们好自为之。’”有人又告发李善长说：“将军蓝玉率军出塞，到捕鱼儿海时，俘获胡惟庸私通沙漠使者封绩，李善长却匿而不报。”于是，御史竞相上奏弹劾李善长。而李善长的奴仆卢仲谦等，也告发李善长与胡惟庸之间互相贿赠，经常偷偷私语。证据确凿，说李善长虽是皇亲国戚，知道有叛逆阴谋却不揭发检举，而是徘徊观望，心怀两端，大逆不道。当时正好有人说将要发生星变，会有灾祸发生，占卜的结果是灾祸应当降临在大臣身上。于是，太祖便连同其妻女弟侄等全家七十余人一并处死。
吉安侯陆仲亨、延安侯唐胜宗、平凉侯费聚、南雄侯赵庸、荥阳侯郑遇春、宜春侯黄彬、河南侯陆聚等人，都同时受胡惟庸牵连而死。不久，被牵连的还有已故的营阳侯杨璟、济宁侯顾时等若干人。太祖亲自下诏罗列他们的罪状，加在狱辞里面，纂成《昭示奸党三录》，布告天下。李善长之子李祺与公主被迁徙至江浦，过了一段时间后死去。李祺之子李芳、李茂，因公主之恩未被牵累判罪。李芳任留守中卫指挥，李茂任旗手卫镇抚，但被取消世袭韩国公的权利。崇祯十七年(1644年)，追谥“襄愍”。