胡兰成父亲先后娶过两位妻子，前妻宓氏生有二子，胡兰成大哥积润和二哥积忠。宓氏亡故，吴氏填房，又生有五子，胡兰成总共兄弟七个，他排名第六。

大哥积润，是个败家子，败的不只是胡家，也败了他自己的小家。他整天游手好闲，不事生产，哪儿有热闹奔哪儿去，村里人称“风水尾巴”。他娶亲结婚后，夫妻两人时常争吵，胡父本不是个管事的人，胡母则评判两个人都不好。胡兰成懂事时，大嫂还在家，对他甚是疼爱，母亲忙里忙外，经常照应他的是大嫂。想不到大哥赌博发急，最后居然把老婆给输掉，小家庭就此完结，父亲将其赶出了家门。父亲过世以后，这位大哥还算想到家中，长兄当父地回家撑持门面维持了三年，可又弄出了不少是非。

二哥积忠，出外当兵，年纪轻轻就死在了福建。这位同父异母兄弟，胡兰成只在其回家时见过一面。

三哥积义，是胡兰成兄弟中第一个在外面世界混出点名堂的人。积义还未成年就被送到绍兴城里蜡烛店里做学徒，三年后满师学成手艺，他却进了绍兴讲武堂，出来后到军营先做庶务长后升排长，在绍兴娶亲成家。父亲在世时，他时常往家中寄钱贴补，父亲过世后，胡家就主要靠他来支撑。不幸的是，父亲去世后仅仅一年，三哥也就病死。好在此时胡兰成已往广西教书，有稳定的收入，每月能给母亲寄钱，将三哥撂下的担子接续挑下去。三哥不仅对胡家有大奉献，也是胡兰成在绍兴求学时的依靠。胡兰成在绍兴读书一年多，食宿在三哥家，天寒地暖，加衣置帐等等，都由这位同胞哥哥和嫂子照应。

三哥的女儿青芸，是三哥前妻所生，父亲死后即来胡家依祖母叔婶生活，她幼年先失母后失怙，在艰困环境中，却出落成一个懂事能干的女子。这位侄女对胡家、特别对胡兰成可说是奉献了自己的一生。胡家男儿虽多，却不是早年夭折，就是常年在外，平日在家中撑持家门的就是三个女性，祖母、婶子和她。胡兰成妻子死时，她在旁边受托，照顾抚养胡兰成子女，祖母死去，也是她守在身边送终。事实上，自此之后胡家门面也就由她在维持。直到胡兰成参加汪伪政府后，才将她接到上海，她带着胡兰成几次婚姻遗下的子女独立门户，实际上成了胡兰成所有子女的继母。以后胡兰成逃出大陆亡命海外，自此天地永隔，是她带大了胡兰成的子女。除去父母，胡兰成在近亲中唯与这位侄女青芸[10]感情最深，胡兰成感念父母，也深深感念这一位侄女。

四哥梦生，是胡家兄弟中最身长力大的，可却是不成材。胡兰成母亲最恼他，心里也是最爱他，因爱而盼其成人盼其持家，盼而落空故而才转为恼。四哥小时不肯读书，经常逃学，硬捉到私塾中，嘴巴闭得紧紧不肯开口。既学书不成学其他，他是样样全能，什么都是一学就会，乐器拿上手就吹拉，绍兴戏是本本能串，田里的活计也无人能及，他却不愿从田里讨生活，又去学木匠，只一年工夫八仙桌水车都能打出，可他不肯等到三年满师即飘然而去。他去赌博，去做生意，拿了上家的钱不办货买了新鲜衣服出风头，别人讨钱讨到家里，他却在城里逍遥自在，穿着纺绸长衫充阔佬，衔着美丽牌香烟打麻将。胡母又气又急，赶来赶去要打他，还让人把他抓到祠堂里用族规治他，终究是治不了。在家乡难以存身，四哥最后飘落到嘉兴，不几年真的创下了家产，有田十亩，还开了家花轿店，大小老婆俱全，日常鼓乐酒食，逍遥自在。四哥也是个荡子，但按胡兰成标准，四哥只是个有荡子才而无荡子德的人。