但父亲还是过于天真了。父亲长期从事儿童教育、写儿童们喜欢的文学和音乐作品，和儿童们一样有一颗童稚之心。当父亲以为没事了的时候，麻烦找上门来了。

率北伐军进入上海的，是北伐军东路前敌总指挥、桂系军阀白崇禧。白崇禧是支持蒋介石的，他所指挥的“北伐军”，也早已蜕变为反革命军队，在上海四处捕杀共产党人和进步青年。白崇禧甫到上海，闻听歌专的大名，便派其黄姓秘书长来找父亲。黄秘书长把委任状强塞给父亲，说：“白长官要在司令部建歌舞股，特委任先生任上校股长。”

父亲看着黄秘书长那双色眼不停地在女学生们的身上打转转，哪会不知道他们的用心？父亲不想参与政治，也不想当官，但黄秘长之流是不能硬扛的。父亲耍了个心眼儿，说：“孙夫人日前也想收编我们，我婉拒了。现在白大将军看得起我们，但这会让孙夫人难堪吧？请秘书长回复，再斟酌考虑一下？”

黄秘书长脸变黑了，扔下话：“我们是国民政府革命军，不接受革命军委任，就是不革命！不革命就是反革命，反革命是要枪毙的！”

几天后黄秘长命令歌专到大舞台进行慰问演出，父亲以学生要学习和训练为理由婉拒，那时父亲为了不让其抓住把柄，已经暂停了对社会上的一切演出活动。黄秘书长恼羞成怒，再次威胁要 “枪毙”父亲。

这时又发生了另外一件事。学校校务主任宣刚道德败坏，利用职权勾引两个学员，发生关系后又将其遗弃，败坏了“歌专”的声誉，引起外界对“歌专”的不利舆论。本来当此新旧文化交替之时，一些封建守旧派早有看法，“宣刚事件”正好为他们提供口实，学校面临舆论上的巨大压力。

租办当局也对父亲不满。“歌专”悬挂青天白日旗，让公共租界当局极为恼怒，巡捕房一个高级职员暗中透信给父亲说：“你们出版、演出了许多反帝节目，早为租界所嫉视，现又带头悬军旗，更为痛恨。不如快将‘歌专’迁出租界或停办，否则恐遭难堪。”

同时，歌专经济上也面临困境。歌专的演出一般为免费招待，收入甚微，而耗用很大，父亲的稿费、版权费全部贴进去仍不敷支出。由于父亲得罪黄秘书长，一些支持者也害怕了，撤掉了原本承诺的办学经费，学校经营雪上加霜。面临如此内忧外患，“歌专”举步维艰。黄秘书长仍在纠缠，丝毫没有收手的意思。秀才遇到兵，有理说不清，父亲在长沙是有过切身经历的。父亲一介文人，对此局面心力交瘁。朋友们建议停办学校，父亲想，这未尝不是一个对付黄秘书长的办法。于是，建校才半年，曾在上海滩享有盛誉的“中华歌舞专门学校”就此停办。