徐向前初到大别山时，看到的是这样一番景象：村庄都是破旧的草屋，人们衣不掩体。红军战士和普通老百姓外表没多少差别。没有军服，有的人也没有枪。农村比不上广东的东江，队伍比不上广州起义的红军。徐向前又和当年刚到广东一样，语言又成了交往中的大难题。他原想，湖北人讲话会比广东话好懂，哪知一进大别山区，仍是个不会本地话的“外乡佬”。

他一到任就被任命为红31师副师长，当时正师长吴光浩已经牺牲，但对外是保密的。如果他牺牲的消息传下去，军心士气会大受影响，说不定有人会马上拉出去找敌人拼命。地主、豪绅和民团，都怕吴光浩，若得知他牺牲的消息，敌人也会乘机兴风作浪。实际上徐向前就是正师长。

这时红31师，号称有四个团，实际上是四个大队，每个大队五六十人，四五十条枪。不少战士扛着红缨枪，提把大刀，有的连刀矛都没有，徒手兵一个。一个个都和当地农民一样，破旧的衣裤，脚蹬草鞋或打着赤脚。徐向前高兴而来，面对现实，心中不禁有些发凉。又是一次临危受命啊！一年前，在东江大山里，叶镛师长被俘牺牲，他接替师长，收拾残局，最后几乎全师覆没，被迫撤出东江地区。现在，吴光浩同志刚牺牲，对外、对下层还保守着秘密，又让他来顶替指挥。当副司令也好，副师长也罢，为革命事业，名义他不计较，可是这局面怎么坚持？

幸得师党代表戴克敏是个热心人。他只有23岁，黄安本乡本土人，徐向前这位黄埔军校正牌军人一来，戴克敏高兴得像孩子似的。从早到晚，陪着徐向前说话，介绍部队的情况。徐向前对他的话听懂大半，能揣摩几分。两个人说不通了，就用笔在纸上写几个字，如人名、地名、难懂的词。

徐向前到红31师不久，6月底，赶上了“李罗会剿”。广西军阀罗霖率独立第四师两个团3？000多人，和河南土匪武装李克邦暂编第二旅一个营，另加反动民团红枪会1？600多人，南北夹击，妄图把红31师一举消灭掉。敌人来势汹汹，徐向前只好“避强击弱”，率领着一部分红军和敌人兜圈子；同时，发动群众和各区自卫队日夜袭扰敌人，使敌人大部队天天扑空，夜夜受惊。徐向前选准敌人弱点，连着进行了五次战斗，每一次都把敌人打得措手不及，终于把“李罗会剿”彻底粉碎了。红31师打了漂亮仗以后，战士们才得知，吴光浩师长早在一个月前就牺牲了，他们来了位新师长。

麦收刚过不几天，8月中旬，蒋介石命令刘峙亲自出马，组织湖北、河南两省的军队，发起了“鄂豫会剿”。这位刘将军，曾是黄埔军校的少校战术教官，徐向前该称他“老师”。他不但教徐向前等入伍生学战术，还和徐向前等一块东征打过仗。此人是纯而又纯的“黄埔系”，蒋介石的亲信。任过团长、师长、军长，是战功赫赫的名将。他参加过北伐战争，率军攻打过武昌城、南昌城。1928年1月蒋介石复任国民革命军总司令后，刘峙被任命为第一集团军第一军团总指挥兼第一军军长。北伐战争结束后，国民革命军缩编，第一军编为陆军第一师，刘峙为师长，并兼任徐（州）海（州）“剿共司令”。这位黄埔的老教官，此时还不曾想到，他当年的学生跑来大别山，成了他的对手。在刘峙统一指挥下，夏斗寅的13师从鄂西奔鄂东；李克邦部和河南的民团顾敬之部由北向南堵击，皖西的56师由东而西行动，四面包围，分进合击，第一步把红31师一举消灭，第二步分区“清乡”、“搜剿”。