到十月份，曾国藩离开京城，以后就没再回来，一个月后，曾国藩接下总督大印，先处理刺马案，把刺客张文祥稍加审讯后就定下死罪。第二年夏天，曾国藩到各地视察，游玩各处名胜。太平天国被平定后，国家兴盛，人民安居乐业，曾国藩看到秦淮一带，许多游船，音乐声不绝，他满意地说：“我这辈子又看见太平盛世，真是高兴啊。”到了十二月份，他进入总督府办公，就是原先洪秀全的宫殿所在。

曾国藩再次来到江南，任期不长。在1872年春节时他晕倒过一次。几天后，苏赓堂河帅来了，曾国藩出去迎接，在轿子里读经书，突然用手指向随从，说不清话了。回去后自己写日记：

余病患不能用心。昔道光二十六七年间，每思作诗文，则身上癣疾大作，彻夜不能成寐。近年或欲作文，亦觉心中恍惚，不能自主。故眩晕目疾肝风等症，皆心肝血虚之所致也。不能溘先朝露，速归于尽。又不能振作精神，稍治应尽之职事。苟活人间，惭悚何极？

第二天又写：

予精神散漫已久。凡遇应了结之件，久不能完，应收拾之件，久不能检。如败叶满山，全无归宿。通籍三十余年，官至极品，而学业一无所成，德行一无可许。老大徒伤，不胜悚惶惭赧。

到了第二天，看一个奏章，他又晕倒一次，然后嘱咐大儿子曾纪泽，给他办丧事要按照过去的规矩，不要办道场。第二天他又看乡试中的一篇文章，下午到花园里面游玩，突然感觉不舒服，被抬到屋子里，坐着去世，享年62岁。当时记载，都说南京城中的百姓，在听到曾去世的消息后都哭了。又说他死的时候，有很大的星星在城楼上陨落，朝廷上下知道后，都感到很难过，文武百官三天不上朝。太后下令，追述他的忠诚和做出的贡献，在每个省都建立祠堂祭祀他，来表达朝廷上下对于他的感情。