1997年初，因资金断裂，巨人大厦只建到地面三层就动不了工了。史玉柱被迫离开珠海。

现在，再回忆起当年败走珠海的事情，他说：“我是悄悄离开珠海的。当时坐仅剩的一辆奔驰离开，车到江苏，连买汽油的钱都没了。”

早在巨人大厦动工之前，泰山会的前辈们已经对史玉柱提醒过几次。大家觉得巨人发展得太迅猛，没有遵循市场规律。但当时的史玉柱三十多岁，年轻气盛，还很浮躁。

华贻芳还曾写了一首措辞严厉的诗送给当时意气风发的史玉柱：“不顾血本，渴求虚荣；恶性膨胀，人财两空；大事不精，小事不细；如此寨主，岂能成功。”史玉柱后来把这首诗挂到了办公室里。事发后，华贻芳“到处找关系，想办法”帮助史玉柱。

1996年8月28日，第五届泰山会在山东泰山召开，信远公司董事长林荣强做东。这次会上，史玉柱主动提出把巨人的案例拿出来讨论，大家帮助他分析巨人集团的经营方式、资本运作上的问题。指出巨人集团在经营方式上用毛主席的“大兵团作战”、“人海战术”等办法，在理论上可以，实际上是行不通的。

国家科委原副主任吴明瑜清晰地记得，“当年史玉柱要在珠海盖楼，协会成员是不赞成的。此后，真的半途而废，巨人集团受到很大的打击。大家都想着怎么样帮助他。”

长城企业战略发展研究所一位不愿透露姓名的资深人士表示，“巨人集团倒塌之时，段永基帮了史玉柱一把，后来还支持史玉柱从脑白金重振雄风，并且获得新生。”