在1906年载振、徐世昌赴东三省考察期间，路经天津，段芝贵为载振献一梨园女子，名曰杨翠喜。

1907年春，东三省体制确定，朝廷宣布徐世昌为总督，唐绍仪、朱家宝、段芝贵为三省巡抚。瞿鸿禨见所任名单皆为袁世凯的追随者，遂加以反对。在他的支持下，借“杨翠喜”一事，御史赵启霖、赵炳麟、江春霖纷纷上书弹劾奕劻、载振父子“置时艰于不问，置大计于不顾，尤可谓无心肝。”汪康年主持的《京报》也极力配合，渲染奕劻、载振父子的腐败行为。舆论哗然。慈禧大怒，段芝贵立即被革职，奕劻被怒斥。不久之后，载振请辞农工商部尚书及一切职务，朝廷允准。