然而，三年之后，载贝子把事情闹得更大了。这事跟一个叫段芝贵的人有关（此人是北洋的旧人，是袁世凯从李鸿章手里继承下来的旧将，跟段祺瑞也关系密切，人称段祺瑞为老段，段芝贵为小段。袁世凯称帝，他拥戴甚力）。此时的段芝贵，正处在上升时期，做过镇统制（师长）兼管天津警察事务，一直都想高升一步，过一过封疆大吏的瘾。而他的主公袁世凯，也乐于让部下升上去。机会来了，载振奉命到东三省公干，从天津乘船出发，逗留多日，段芝贵得以尽地主之谊，当然少不了名妓美女侑酒。当时津门有位女艺人杨翠喜，是京津两地尽人皆知的女伶，长得美，戏也演得好。14岁登台演出，当时中国坤伶很少，所以一下就红了，据说曾经深得李叔同的赏识和爱怜。席上，杨翠喜大展身手，载贝子着了迷。段芝贵趁热打铁，高价买下杨翠喜，送给载贝子。不久，东三省改设督抚，段芝贵被破格提升为署理黑龙江巡抚（代理）。

很快，事情为奕匡、载振父子的政敌侦知，御史赵启霖一封弹章上去，载贝子又有麻烦了。在朝廷派人调查之前，段芝贵在天津警察里的好友杨以德，马上安排了一位盐商王益孙，也是杨翠喜的旧交，出面顶缸，神不知鬼不觉，杨翠喜回到了天津，所有的买卖手续一律重办。买杨翠喜时的银子，原本大半都是王盐商出的，现在顺势把人接回来，倒也顺理成章。

载贝子什么事也没有了。御史赵启霖反倒丢了官。可是，即使把事抹平，人言却抹不平，舆论反了天。段芝贵的封疆大吏只好暂时不做了，而载贝子赔了美人，官也折了。好在庆亲王奕匡圣眷犹在，地位仍在，因此，泼天的富贵也在。几年后，满人亲贵全面当家，大举收权，载贝子又重新出山。但此时满人的江山已经到了头，载贝子只好到天津租界做寓公去了。

当权贵最大的爱好只剩下货与色，可靠固然还可靠，但江山却已动摇。