最后，他再做相反的操作，以低价买入，获得西部联合的控制权。可怜的范德比尔特落得和朱与菲斯克一样的下场。

高尔德个人的黑色星期五在1884年到来，当时詹姆士·基涅和一个买多者辛迪加用高尔德自己的方法猛烈攻击他，卖空投机高尔德的财产。他们赢了，高尔德输了，到了6月，在健康状况下滑的情况下，他把游艇、可以俯瞰哈得逊河的城堡、第五大道的家和很多财产——变卖给了敌人。在全面败溃之前，非常聪明和心甘情愿地退出市场，他剩下的财产在1892年去世时估价7200万美元。

高尔德总是把一切都投入市场来创造财富，因此被憎恶。最终，他必须有24小时的警卫，因为每周都会收到死亡威胁。作为一个失眠症患者，他需要在有警卫站着警戒的人行道上散步。但是不得不佩服他的技巧。他是一个悲哀的投机成功的人，跟很多其他人不一样，他不是投机和毁掉公司，他进行投机然后经营公司——通常公司会更好一些。他也有不寻常的灵活性，当潮流和他相逆时能够屈服，而不是不屈不挠地和市场斗争到底。和其他很多曾拥有一切也失去一切的人不同，高尔德能保持财富。他献身于市场！在一个残忍的时间粗暴、无情地进行！在一个时代的非法时期（当时要达到违法的程度是很难的），高尔德把他的才智、灵活性与管理技巧结合在一起。他代表着我们带着敬畏回忆的那个领域里最好和最坏的双方面。