胡兰成此去仍是杭州，是应杭州邮电局之招去做邮务生。这在他是完全没想到的，邮务生还是他在蕙兰读二年级时为留后路去考的，考取了，当时读书不能去，想不到事过两三年，邮局还为他保留着职位。邮务生月薪三十五元，相当于他在胡村小学堂教书半年的薪水。接得通知后他立即动身，母亲、玉凤都为他欢喜。可惜，这个好差事，他只干了三个月。

胡兰成到职，被分配在城站邮局上班，他每月寄二十五元回家，余下的节俭自用。可他对职业很快就感到了厌烦，不在于工作的单调，而是邮局里的环境气氛。邮局在那时代是铁饭碗，因此每个职员都勤谨小心，不求出色但求无过，只要熬到年头就可加薪，还有一笔不菲的养老金。他却觉得，一个人一辈子辛劳仅仅只为这些未免志气太短。他也看不惯邮局的势利，杭州邮局那时由外国人经管，职员自恃矜持，对一般顾客很是傲慢，同事之间也是冷淡无人情，上下级界限更是严格不敢逾越。有个管卖邮票的老职员，已是五十多岁人，在局里年岁最长，二十年来薪水从最初二十元已加到一百一十元，他再做满五年即可享受终身养老金了。一日，有人在窗前买邮票，先买了三分的，后又要求换成一分的，老职员就给换了。不料局长在一旁看见，冷着脸道：“你懂得章程吗？”他即刻垂手起立答道：“是！”局长不罢休，把他叫到局长办公桌前责骂，他只垂手躬身唯唯点头称是。胡兰成见他如此屈辱，真为他感到难受。

不久就轮到他自己了。一天，有人为集邮，拿着邮票来请邮局盖戳，胡兰成就给盖了，正逢局长巡查看见，申斥了他一通，说不可以随便盖。第二天，偏巧有个英国女人也拿着邮票来要求盖戳，胡兰成当即拒绝。局长在一旁看见了，却立刻趋身上前，谄媚地与其攀谈，伸手从窗洞外接过了她的集邮册，递给胡兰成为她盖戳，胡兰成只管做自己的事不加理会，局长无奈只得自己亲手盖了。局长笑脸送走那英国女人，转过身来就狠狠对他唾骂了一声，见他不服，又把他叫到办公桌前责骂，越骂越大声，各种粗话都骂出了口。胡兰成更是不服，终于耐不住性情，拿出当年与中学教务主任的劲头与之争辩。结果，他当场被开除了。

这是他在杭州第二次被人开除。前后三个月，他又折返走上了回胡村的路。