蒋介石请他吃饭，他偷偷摸摸把这个拜帖拿出来，放那儿了，意思是我哪儿敢收你当徒弟，你多大腕儿，我多大腕儿？我这大流氓再狠能狠得过你吗？借机把这个拜帖给退回去了。蒋介石也感激黄金荣，后来黄金荣为什么能在上海滩有那么大的势力？他上头有人，当年救过蒋介石，他真有点儿事，蒋介石能不管他吗？所以自古以来，不要以为黑社会打打杀杀很厉害，再狠他狠不过政府，黑社会也就是政府的丫鬟。黄金荣有蒋介石在后边支撑着，再加上自己在上海滩势力本来就大，一点点地这个人也狂妄起来。这人一狂，很多弱点就容易暴露。黄金荣有什么弱点呢？除了贪点财，也好色，结果他在这上就吃了大亏。那时候上海来了个戏子，外地女子，十多岁，长得非常漂亮，艺名叫露兰春，唱戏唱得好，是个角儿，黄金荣就喜欢上这个女子了，专门为这个女子开办了大舞台，叫做共舞台。她在这儿唱，他带人捧，在上海滩的大报小报都给这个戏子做广告，私底下露兰春就傍上黄金荣，这俩人就好上了。黄金荣每天晚上只要没大事儿，保准带着门徒到戏院去，一个是维持秩序，另一个是给露兰春捧场。天天这样，就把她捧红了。

结果有这么一天，出事儿了，黄金荣在包厢里坐着，露兰春在台上唱，唱到要彩儿的地方，黄金荣刚喊“好！”，突然听到旁边有很清晰的一声，“好个屁好！”黄金荣心想，谁吃了熊心吞了豹胆，敢在这儿捋我的虎须？往那边一看，旁边包厢里坐着个公子哥，长的还挺漂亮，20多岁的年轻人。黄金荣可气坏了，这是我相好的，你敢叫倒好？你不就是个公子哥嘛，啪啪，黄金荣过去就两大嘴巴子。挨完打，这公子哥一看他人多势众，也不敢动，旁边有认识的告诉黄金荣，师傅，打不得打不得！为什么？这个人不得了，他的名字叫卢筱嘉，人称民国四大公子，他爸爸是浙江督军卢永祥，等同于现在浙江军区司令员，你流氓再狠，狠得过军队吗？黄金荣那个时候狂到一定程度，“什么军队，给我打。”手底下呼吁上去，把这位公子哥卢筱嘉给打得鼻青脸肿的。谁知没过几天，黄金荣失踪了，怎么回事？被卢永祥下边的军队在上海给绑架了。黄金荣的老婆想，虽然我这老公不怎么正经，跟戏子调情，但我得救他。怎么办？得找人出面，她赶紧找两位兄弟，张啸林和杜月笙，杜月笙非常有头脑，一琢磨这事儿，人家是军界的，而且在浙江杭州那儿待着，在上海滩能搞明白的事儿，在杭州不见得能摆平。

救人这事儿必须走官面，得找面子大的人去圆，找谁呢？杜月笙就想到了之前帮蒋介石的大政客虞洽卿。虞洽卿跟黄金荣有交情，而且在国民党军队各个阶层有广泛的人脉。杜月笙找虞洽卿出面，帮忙一同营救黄金荣。最后，杜月笙又提出跟卢永祥合伙做鸦片生意，还帮黄金荣交了一百万大洋，黄金荣才从浙江督军的监狱里出来。这个事儿当时轰动了上海滩，在电影《大上海》里边，基本上就照这个故事情节来的，洪金宝在里面演绎了黄金荣当年这段故事。

可黄金荣出来之后也不思悔改，还拿露兰春这戏子当回事，两人还结了婚。当时露兰春20多岁，怎么看得上50多岁的黄金荣？就是为了他的钱，这边跟黄金荣结婚，那边外头偷情人，没过多长时间，她跟情人卷了些细软就跑了。后来还是杜月笙出面，把露兰春带走的家财给要回来了。

经历了这些事儿以后，黄金荣在上海威风扫地，他这青帮大亨牛吗？怎么因为女人让人给抓起来，还给人拿了一百万大洋，真没有面子。所以从那以后，黄金荣在上海滩的势力一点点开始走下坡路，逐渐被他的门徒杜月笙取代，杜月笙也是一方面跟黄金荣维持好关系，另一方面也借这个机会一点点取代黄金荣在上海青帮的位置。