等到了咸丰帝的时候，他也想到了这个办法。其实朝廷对团练还是心存顾忌，因为团练就和地方割据军队性质差不多，历朝历代对于武将拥有自己的军队都是防着，生怕做大了威胁到自己的统治，所以清政府也不想让地方势力膨胀。

但顾忌归顾忌，毕竟现在火烧眉毛了，除了发展地方武装，好像还真没有别的好办法。咸丰二年，皇帝下旨两湖地区发展团练，目的直指太平军。而组织团练的人都是在籍或者丁忧在家的官员，就是让他们在自己家乡利用各种关系组织起武装力量，曾国藩势必在这个范围内。咸丰二年十一月，咸丰帝给湖南巡抚张亮基颁了一道圣谕，要求在家丁忧的曾国藩出任湖南团练大臣，帮助湖南政府剿灭太平军，这是咸丰帝任命的第二位团练大臣。当时册封的团练大臣除了曾国藩，前前后后一共任命了四十五个大臣，山东、江苏等地都有。张亮基立即将上级的命令传达给了曾国藩本人。

在得知这个消息后，曾国藩心中充满了矛盾。形势对于朝廷极为不利，作为国家的高级官员，曾国藩应当担负起拯救国家于危难的责任。但凭借曾国藩一个人的力量能不能做到这一点，他心中没有底，更别说几成把握了。他在犹豫，但有人着急让他出山，好友吴敏树写信给曾国藩力劝他马上行动。郭嵩焘还亲自到他家里劝说。

在经过激烈的思想斗争之后，曾国藩还是选择勇敢地站出来，做了一回墨绖从戎，就是守孝未结束就带兵打仗。对于这位理学大师来说还有什么比尽忠二字更重要的吗？曾国藩给咸丰帝写了谢恩折，并阐述了自己对于团练的想法：“臣拟现在训练章程宜参访前明戚继光，近人传鼐成法；但求其精，不求其多；但求有济，不求速效，诚能实力操练，于土匪足资缴捕，即于省城防守亦不无裨益。“曾国藩准备仿效戚继光的练兵之法，打造一支精锐的部队。折子送到咸丰帝那里，咸丰帝一如既往地签了三个字：“知道了。”但不管皇帝是怎么想的，曾国藩决定按照自己的想法去做。