李善长的弟弟存义的儿子佑，是胡惟庸的从女婿，当胡惟庸叛逆案于1380年被告发时，就有人控告李善长也不干净。那时皇帝对这些控告尚未有所举动。1385年有人重新对李善长提出控告，这次的矛头对准的是李存义父子。皇帝把李存义发配到了崇明，对李善长仍没有采取行动。这样又过了五年，李善长年已七十七岁，都老到这个年纪了，他却做出了一桩糊涂事。他在营建府第时，从信国公汤和那里借了三百名兵卒。汤和把这个消息秘密报告了皇帝，朱元璋对以前的这个股肱重臣生出了一份嫌恶。

1390年5月，京中一些被查处有问题的下级官吏和百姓将被发配边境，李善长数次请求赦免一个叫丁斌的人，经查，丁斌曾经在胡惟庸家做事，朱元璋责令办案人员好好审问丁斌，一审之下，他招供了一些李存义与胡惟庸交往的细节。于是朱元璋命把李存义父子重新押送来京审问，这一审，就牵连到了李善长。李存义供状诉称，胡惟庸早有谋反之心，曾经偷偷派存义去劝说李善长一同起事，李善长听了大为吃惊，你说的都是些什么啊，那可是要株连九族的大罪！不久，胡惟庸又派李善长的一个故人杨文裕去劝说，许诺说，事成当以淮西地封为王。李善长没有答应，但看样子颇有些动心了。于是胡惟庸亲自前往游说，李善长还是没有答应。过了一段时间，胡惟庸又让存义去游说，李善长听了，长叹一声：我老了，等到我死了，你们好自为之吧！

这年6月，一名御史站出来弹劾李善长，劾状称，早在1385年，将军蓝玉出塞征讨蒙古时，在捕鱼儿海的一场战斗中捕获了一名叫封绩的信使，当时这名信使的手中持有胡惟庸写给元君的一封亲笔信。但蓝玉关于此事的奏报被李善长暗中扣下了。这时，李善长府中一个叫卢仲谦的奴仆也检举主人与胡惟庸经常一起密谋。主审此案的官员詹徽，原系李善长的政坛宿敌，此时已经做到了刑部尚书兼左都御史，这两项官职兼于一身，使他打击起敌人来得心应手。李善长被下狱，罪名是，“身为元勋国戚，知逆谋不发举”，“狐疑观望怀两端，大逆不道”。钦天监官员最会见风使舵，马上上奏说，天上星宿有异象，当诛杀大臣。李善长于1390年7月被迫自尽，妻子、亲属七十余人均被处死。

一个七十七岁的老翁，替主子办了三十九年差，到末了落得个全家诛戮，这样的处置免不了招致时人批评。此案发生一年后，青年才子解缙以工部郎中王国用的名义起草了一篇题为“诉韩国公冤事状”的奏章，严词切责对李善长的不公。在他看来，李善长一案办成这个样子，实在是于理不通，于情不合，难以服众，因为李善长犯不着冒这连坐之罪不检举，再说他也根本不可能从所谓的谋反中得到什么实际利益。朱元璋无话可驳，但也没有追究解缙。