曾国藩不仅自己一个人讲究廉洁，更注重对追随者的廉洁教育。营是湘军基本的组织结构，做好一个营官，曾国藩认为重要的是做到四不，即不要钱，不怕死，不偷懒，不扰民。他认为带兵没有什么其他的妙巧，关键是勤廉。他认为：

为将之道，谋勇不可以强几，“廉明”二字则可学而几也。弁勇之于本管将领，他事尚不深求，惟银钱之洁否，保举之当否，则众目眈眈，以此相伺，众口啧啧，以此相讥。惟自处于廉，公私出入款项，使阖营共见共闻，清洁之行，已早有以服弁勇之心，而于小款小赏，又常常从宽，使在下者恒得沾润膏泽，则惠足使人矣。……得“廉明”二字为之基，则“智”、“信”、“仁”、“勇”诸美德可以积累而渐臻。若不从此二字下手，则诸德亦茫无把握。

廉洁是领导者服众的基本前提。一个领导者不廉洁，贪得无厌，士兵是不会心诚悦服的。所以曾国藩说：

带兵之道，“廉”、“明”、“勤”三者缺一不可。廉则银钱不苟，自有以服兵勇之心；明则是非不淆，赏罚公道，勤则营务整顿，在下之人，自不敢懒惰废弛。此三者，明字不可强而至，廉字、勤字，则勉强做得到的。

鲍超是湘军中贪狠的将军，曾国藩一有机会就不忘教育他，“为统帅者，欲服将士之心，在不争将士之利。”鲍超的军队能打狠仗，立过很多的功劳，但是也很贪财，往往所到之处，抢掠民财，有一次，曾国藩非常生气地说宁愿不打仗，也不希望他的部下那样扰民。鲍超贪狠猛鸷，他的部下只有他能够约束，但是他对曾国藩却非常的敬服。有一次，他写“门”，旁边的人指出他多了一钩，鲍超大发脾气，批评那人，那人说曾大帅的“门”没有钩。鲍超不信，正好厅上挂着曾国藩的一副字，里面的“门”字没有钩。鲍超看后诚惶诚恐，倒地便拜。由此可见曾国藩的服人。

他教育追随者，要求他们常常做到“勤恕廉明”，认为只要做到这四个字，“可为名将，可为好官”。刘松山是他一手培养出来的名将，他北伐捻军带的湘军将领是刘松山，左宗棠担任陕甘总督后，曾国藩又将刘松山划给左，在平定陕西回民起义中立下了重大功劳。刘的部队一直是曾国藩供应军饷后勤，一次刘写信给曾，提出了过高的要求，曾国藩严厉批评道：

该镇向来办事，颇有忠勇明决气象，前次请银一禀，未免太不知足，深恐流入鄙琐一路，是以严批训诫。本部堂待人，常如师之待弟子，有戒饬成全之意。嗣后随事留心，总要银钱看得轻，然后之气振得起，如果统领毫无私蓄，各营将士无不共知共谅也。

老湘营能够立功西北，和曾国藩的这种谆谆教导是分不开的，所以有人将左宗棠立功西北归功于曾国藩是有一定道理的。

曾国藩将勤、廉看得非常之重，认为是人生之本、湘军之本，“勤则无事不治，廉则无瑕可指，二者乃居官之根本。”“‘勤’字、‘廉’字，人生之根本，即我楚师水陆两军之根本也。”为了确保这一根本落到实处，他特别在制度建设上有所突破，建立了厚饷养兵的制度，用高收入、高工资来培养他们的廉洁。按照湘军的规定，湘军士卒的月饷几乎是绿营兵月饷的三倍或三倍以上。统计各项总的收入，营官每月为二百两，分统、统领带兵三千人以上者每月为三百九十两，五千人以上者五百二十两，万人以上者六百五十两。曾国藩说：“臣初定湘营饷项，稍示优裕，原冀月有赢余，以养将领之廉，而作军士之气。”湘军战斗力之强，这是一个根本的原因。