华振中召集了连以上军官会议，他说他希望我们不要同陈炯明作战，也希望我们服从多数人的决定。华振中是中校副团长职级，比我地位高。但我不同意，我说每个人都有自决权。在这个问题上，我麾下四个连长——阮宝洪、苏德燊、王仲瑜、陈瑜都宣称支持我。但是吴逸之和梁世骥表示想回广州去。他俩不愿意同陈炯明打仗。这一建议得到少校副团长陆材的大声支持。除了王仲瑜是行伍出身，所有这些人都是我的同学。

胡汉民翌日，华振中南行投向翁式亮，两个机枪连都跟华走了。阮宝洪虽然宣称支持我，但也跟华走了。可是他麾下两个排长拒绝同行，陈瑜也跟华走，部下一个排长不肯走。在另一方面，华振中手下的排带着团旗投向我一边，这对士气是很重要的。每个团里必有一名少尉或中尉担任旗手，带两个士兵。旗手的责任是保障团旗的安全。其他单位一师或粤军本身都配备旗手一职。

就这样，我率领三个连加一个排，华振中则带走了三个连。我带了部众北行追赶胡汉民。刚到南雄，我们碰上胡汉民、许崇智和李烈钧，他们正开赴韶关作战，陈炯明亲信梁鸿楷率第一师尾随在后。当我向他们报告始兴发生什么事情后，胡汉民告诉我，他在江口听说我投降了陈炯明叛军而华振中与部分士兵则忠贞不移，但他曾表示那是绝对不可能的。他要求许崇智查证这事。我感到惊奇，问胡汉民何以见得。他说，华振中看上去不像是个正直的人，而我看上去很老实。毕竟他确信我不会投降。

在粤北翁源，我们同陈炯明部展开激战，第一师加入敌阵，将我军击败。倘若第一师不在紧要关头增援敌军，胜利应属于我方。后来我从邓演达处得悉内情：当第一师到达赣粤边界时，召集了一次会议，陈铭枢与陈修爵赞同支持陈炯明，梁鸿楷必须屈从，因为其他团队的士兵盲从二陈，所以第一师决定离开许崇智、投向陈炯明，陈遂下令第一师向我们开火。

胡汉民、许崇智、赖世璜、李烈钧带领部队向闽南转进途中，同陈炯明部接战，赖世璜部下的卓仁机带了一营人马投向陈炯明部。

我的部队同许崇智部的联系被切断后，我除了上山别无出路。我带了部下一百多人开到我故乡始兴县的仙人岭。我们在那儿待了约半年，度过了连草鞋也没得穿的日子——在山区想买也买不到。当食物吃完时，我们袭击一个小村，该村住着不到十户人家。我的士兵会在拂晓前包围村庄，开枪威胁村民，然后命令他们出来投降，这是搜掠小村的典型方法。有时我们会杀死三十来斤重的小猪掳走，我们搜掠玉米、大米、芋头、土豆等，但我们没抢钱，因为那儿根本没有钱财可掠。有人说我得了“张大王”的诨号是由于我名字的第二字奎，系大字同王字缀成的，然而“山大王”这个词通常是指土匪。我承认，那时我确实当了土匪。众所周知，有不少土匪变成了军人，如李福林，但是很少见到军人变成土匪的例子。