做完了这些准备，黄金荣放心了。但他不曾想到，李志清在悄悄做着离开上海的准备。照理说，李志清自年幼进门，为黄家辛苦操劳多年，又做了黄金荣多年的情妇，倘若她提出去香港或者台湾，黄金荣断乎不会阻拦，并会留下自己晚年生活费用外，将所有钱财悉数交由李志清带走。但李志清不曾提，她只是在杜月笙、金廷荪等人离开上海后，悄悄问过黄金荣：

“杜家叔叔和金家叔叔他们都去了香港，为啥我们不走？”

“倘若你们小辈想走，尽可以走。”黄金荣表示，“我已经是快进棺材的人了，不想将这把老骨头抛在外乡。”

李志清不再说话。

上海解放后，局势逐步稳定，黄金荣见共产党信守诺言，既未对他进行制裁，也无抄家没收财产的动向，遂放下心来。但是有一天，黄金荣忽然发现钧培里偌大公馆里好像少了些什么，等了一歇，方醒悟过来，遂觉得大约有一两天没有看到李志清和她的领养子即次子黄起明、养女黄悦明了。黄金荣赶紧差人喊来李志清的贴身娘姨，方知李志清已带着一儿一女去了香港。

黄金荣旋即想起保险柜里的万贯家财，到二楼密室打开保险柜一看，李志清已将大部分金银珠宝卷走，仅给他留下极少的钱财。

“妹妹，我何尝亏待过你，为何你要如此对待一个年过八旬的老人……”

82岁的黄金荣已经没有了以往的火爆，他颓坐在密室的椅子上，喋喋不休地念叨起来。

当时黄公馆上上下下人口众多，仅钧培里一处公馆便有男女佣工30余人，账房、秘书、门房、当差、保镖、司机等各司其职，另有厨司三人，打杂娘姨五六人，加上黄金荣与养子黄源焘一家，长孙黄起予一家，几十口人每天的穿衣吃饭，其它应酬的开销，修修补补的费用，以及佣人的工钱等等，加在一起定然不是一个小数目。而他的所有物业、不动产已不再属于他个人所有，亦不能从中收取任何利润，现如今他等于只出不入，坐吃山空。偏生此“山”未曾吃便已被李志清掏空，黄金荣怎能不为此焦急万分。

在此情况下，黄金荣不得不辞退一些佣人、当差，缩减开支。同时，为了表示对人民政府的支持，黄金荣拿出5万元买了公债。如此一来，黄公馆的生活几乎到了山穷水尽的地步。黄金荣只好派门生黄振世往返香港，找杜月笙帮忙，并打电报、挂长途向李志清要钱。最后，杜月笙让万墨林给黄金荣汇了5万元用以维持生计。