对于俭，曾国藩有深刻的认识，他认为：“凡世家子弟，衣食起居无一不与寒士相同，庶可以成大器；若沾染富贵气，则难望有成。”一个人要想成就大事，俭是非常重要的；一旦沾染了富贵习气，要想有成就很难了。他曾对儿子约法三章：不许坐轿，不许使唤奴婢做取水添茶的事情；拾柴收粪之类的事情，必须一件一件地认真去做。指出：“俭字工夫，第一莫着华丽衣服，第二莫多用仆婢雇工。”他认为：

凡仕宦之家，由俭入奢易，由奢返俭难。尔年尚幼，历不可贪爱奢华，不可惯习懒惰。无论大家小家，勤苦俭约，未有不兴，骄奢倦怠，未有不败。

所以，曾国藩治家，第一注重的就是俭朴。由家而推及官场，他非常反对官员的奢侈生活。经历了与太平天国的战争，湖南很多人家家庭富裕了，风俗习气也随之改变，为此曾国藩非常痛恨，并且想力挽颓风。他说：

吾乡近时风俗侈靡，一变向来勤朴之旧，实缘乡人从军日久，职官太多之故。推论缘起，即鄙人不能辞其咎。今欲力挽颓俗，固须林下诸公身示俭约，诱进以诗书。而凡为达官于外者，尤宜约束子弟，不使习为豪华以相炫耀，庶可渐移锢习。然由俭入奢易，由奢入俭难，仍未知其果能挽救也。

对于官场的颓风、奢侈之风，曾国藩认为大官的表率作用很重要。杨昌濬曾经写信给他，想整顿官场奢靡的风气，曾国藩非常肯定他的想法，1870年5月他回信说：

承示浙中近事，并及官场习气渐就奢靡，尊意欲转移积习，与僚属约诸事务从节省，此实时要务。大抵官场风气，每由微而渐趋于著。凡事稍从其费，则渐于奢而不觉；凡事稍从其省，则渐趋于俭而亦不觉。若由大吏率之以诚，持之以久，成效亦不难立睹。

由此可见，曾国藩的俭朴，不仅仅是他注重自己一人之俭，一家之俭，更注重整个官场、社会的俭。他不仅注重身体力行，也重视俭的思想教育。不仅影响了他的后代，也影响了他周围的一批人，甚至对江苏等地的社会风气也有所感化，形成了一种俭的氛围。