1920年，胡汉民的兄长胡清瑞内定继胡毅生任士敏土厂厂长。我对胡毅生说我打算离厂。这里有个逗笑的故事：厂里有个湖北籍的李姓副厂长善于命相。有一天他给我算命，说我如果从军，可以升到营长阶级；设若我从事文职，我将会做到巡按使（专员）。我听了很不以为然，我才不信那套鬼话，于是我加入了粤军，旨在揭破那湖北佬的谎言。

我参加粤军的另一个原因是：传说中山先生已下令援闽粤军返粤，我示望加入回粤的队伍。因此我要求胡毅生准我辞职。那时，我除了嘉斌，并无其他负担，此外，我已攒了些钱。胡毅生劝我继续为他的堂弟做事，也保证胡清瑞会像他自己一样善待我。我把命相佬的预言告诉了他，我去意甚坚，要求他给在闽的邓铿写一封介绍信。胡毅生在函中说，我离开士敏土厂的唯一原因是希望成为军人。我揣着这封信去闽南漳州投奔邓铿。倘非为了揭穿那个算命的同事的鬼话，我一定仍留在士敏土厂。这个故事也显示了，我为什么不相信、永远不相信命相佬的预言。