大哥还要生事，一日大哥来湘湖师范看他，胡兰成就把当月原要寄家里的钱交他随身带回，顺便问了问家里的情况，大哥答道一切都好。可大哥回家后却向玉凤发话道：“我已和蕊生说了，蕊生说你不对，我只蕊生这一个阿弟了，他是极敬重长上的，自从我当家，他每次寄钱来都是写的大哥收。你不好，将来我要蕊生一乘轿把你送回唐溪！”玉凤当下听了大为恐慌。胡母劝玉凤不要信大哥乱说话，青芸已十三岁，更断然说六叔不会。玉凤嘴里说：“我也知道你六叔不会。”但千思万想，还是放不下心，于是付托青芸服侍胡母，自己怀抱才三个月的女儿棣云，一人直奔萧山，来湘湖师范找胡兰成。胡兰成得知妻子来校，大吃一惊，心中大不高兴，他急急赶到校门接玉凤，不敢高声张扬，学校中女同事和同事夫人多是新式摩登人物，玉凤却是一派乡下农妇打扮，他怕玉凤坏了他的面子。玉凤直到晚上，两个人在房里时才将来意向胡兰成和盘托出，胡兰成不在意，连句安慰的话也没说。草草一宿，第二天一早胡兰成就打发她回了家。

其实玉凤生前这个结始终没有解开。玉凤死后，侄女青芸告诉他，玉凤一直担心胡兰成日后发迹会休她回家，她一想到此事就悲从中来，苦日子她过，而福却由新人来享，她直到死都没有把心思丢下。她自到胡家以后，可说没过上什么好日子，丈夫总不在身边，自己一个人侍老抚幼，家中操劳田里劳作，有做事的份却没有当家的权，还要备受大叔子和妯娌的欺凌。她知道丈夫对自己不满，可她对丈夫的期望并不高，只求能有真心待她，如果做不到，那只求不被屈辱地休回家即可。可怜几年夫妻生活下来，丈夫并没有给她信心。

按胡兰成的性情，即便日后做官发财，休其回家恐怕不会，尽管他对玉凤没有爱情，也谈不上怎样的情义，他还不至于下流到有意欺侮自己的妻子。平素他对玉凤不满意，常常形于脸面上的恶声恶气，既是对玉凤的，也是发泄自己在社会上到处碰壁的愤愤不平。玉凤自知大病不起时曾对他说：“你待我是好的。只是你一回说，和我结婚以来你没有称心过，这句话我听了一直搁在心里。”胡兰成对她解释，那是对她生气时故意伤她的话，是口不对心的。话说得口不对心，应该是真的，玉凤从没有让他称心过，也是真的。可夫妻两人之间，更从“没有称心过”的应该是玉凤。胡兰成是“荡子”，在无法可想时，他可以在人家闲住混饭吃，将妻子儿女扔在脑后，不管不顾，玉凤是无处可去的，只能死守在家中侍老抚养儿女。胡兰成一朝有了稳定职业，有了收入，还是对家里负责的，至少能按时寄钱回家，可令人伤心的是，玉凤自来胡家直到病死那几年，恰恰是胡兰成无稳定职业亦无可靠收入且脾性最躁动不安的那几年。

对自己的这位结发妻子，胡兰成内心是感到歉疚的。他晚年的回忆中，记下了自己一生中与之先后结合的多个女子，对自己的“艳情”不吝惜笔墨，可细按文字，真正令他动情的，使他感到心有愧疚的，还是自己的这位正妻。曲折细微处，他的笔下，也是他的内心深处，正妻地位的玉凤，与以后的其他女人是有所差别的。他说：“玉凤待我，好比白蛇娘娘待许仙，瑶池风日，世上人家，她是这样的感激知恩”，“她心里真是欢喜的，”“是称心知足的”；他说：“我与母亲及玉凤亦不必在于身边，而只是同在这人世，如同星辰在银河”；他又说：“我的妻至终是玉凤，至今想起来，亦只有对玉凤的事想也想不完”。其中他扯上孔子、《诗经》、白蛇娘娘、“梁山伯祝英台”之类种种的闲话，穿插迂回，旁征博引，令人感动，也感动了他自己，不全是一派自欺欺人的说辞。