在曾国藩至诚感化下，1864年，李世忠逐渐将军队裁减，最后辞职回家。在回家定居的问题上，曾国藩也非常殷勤地为他考虑。像李世忠这样的人，得势时飞扬跋扈，目空一切，不给自己留后路，因此得罪不少人，很多人想报复是正常的事情。为了不让这样的事情发生，曾国藩给他出主意，寻找好的地方。教育他回到家乡固始，要待人谦和，看轻财产，施舍穷人，以期收回恶名，同时他又给当地官员写信，告谕乡民，尽除前隙。通过这种真诚的方式，李世忠得到了教育，逐渐改变了自己，他主动捐款一大笔钱给曾国藩做军饷，而且回到了固始老家，做起了富翁。然而，对于这样的人，朝廷是不敢信任的，对其监视一直没有放松，一些不利于李世忠的报告不断送达天庭。有人上奏李世忠修筑堡寨，私藏炮械；又有人上奏说李世忠招集党羽，私买火药。意思很明显，就是说李世忠有谋反的迹象。在处理这个问题上，曾国藩在奏折中表明了自己的态度。他认为：

李世忠从前不法各事，举世皆知，神人共愤，既为众怒所集，一经颠蹶，人人欲得而甘心杀之，诚不为过。惟朝廷宽大之仁，业已十有馀年，凡在降众无不许其自新，李世忠则曾任实缺提督，帮办军务，岁终有福字之赐，寄谕有奖之词，在降将中尤属格外优厚，目前如无叛逆实据，自不便遽加极刑。寻降迭次谕旨，亦饬令切实查明，总以有无叛迹实据为断。河南抚臣李鹤年复奏所指擅杀平民，私铸小钱，及捻党穷蹙奔投，以图生路各节，均为前事之所有，不知近数年来究竟有无其事。多筑圩寨，则宜查其是否新添。藏蓄洋炮，则宜查其是否新置。勾结党羽，则宜查其来往之人物色如何，风影如何。务须严密访查，参互错综，始能得其情实。

他坚持以诚为本、实事求是的原则，派专人前往秘密查访，了解情况，一一核对，为李世忠澄清了事实，解除了朝廷的疑惑。