宋宁宗赵扩即位后，宋光宗赵惇与李凤娘升为太上皇和太上皇后，这一结果虽然不是这对夫妻想要的，但也并非不能接受。不过宋光宗退休之后精神状况始终不好，经常回忆起过去的种种，时而嗔骂，时而痛哭。李凤娘经常对他隐瞒外面的消息，不想让光宗再受刺激。但是当宋宁宗赵扩登基大典的鼓乐传来，宋光宗赵惇还是忍不住问外面发生了什么事，李凤娘骗他说：“市井为乐耳。”宋光宗这时突然愤怒地吼道：“你竟然在这个时候还骗我？”随即拔腿狂奔，摔倒在花园里。

李凤娘病死之后，宫女到中宫为其取礼服，管理钥匙的人怨其平日凶狠，拒不开启中宫殿门。礼服没有取到，宫人们只得用席子包裹尸体，准备抬回中宫治丧。半路上忽然有人大喊：“疯皇来啦！”宫人们一向怕遇见疯疯癫癫的宋光宗赵惇，一听到喊声，忙丢下尸体，四处散去。过了很久，当他们知道刚才不过是旁人故意叫喊的时候，再回去寻找李氏尸体，尸体已在七月骄阳的曝晒下散发出阵阵刺鼻的恶臭。治丧时，宫人们只得杂置鲍鱼，燃起数十饼莲香，以掩盖难闻的气味。

吴芍芬不仅斗败了强势的孙媳妇李凤娘，还为自己的曾孙子宋宁宗赵扩早早地培养了一个贤内助——杨桂枝。杨桂枝出身卑微，据说家族是淳安县辽源十五里坑的一家农户。如果不是母亲张氏擅长音乐，杨桂枝有幸跟随母亲进入德寿宫乐部，杨桂枝可能一生都无缘走进宫闱。杨桂枝本不姓杨，她在宫廷之中偶然结识了一个名为杨次山的老乡，并拜为兄妹。杨次山是将门之子，他的曾祖父杨全曾经参加过靖康年间的汴梁保卫战，因此其家族世代受到政治上的优待。杨桂枝认杨次山为兄之并改姓为杨时，能文能武的杨次山已是近卫军指挥官——宫中武德郎了。

杨桂枝的母亲生病回乡之后，她被留在了宫中侍候皇太后吴芍芬的起居。吴芍芬本人能诗擅画，颇有文化修养，她发现杨桂枝聪明伶俐，不免产生怜爱之心，对她加以指点和培养。不过吴芍芬的照顾和指点却引来了其他宫女的不平，有一次她们乘吴芍芬沐浴之时，鼓动杨桂枝穿戴太后的衣冠，随后便大造舆论，没想到吴芍芬并不以为意，反而说：“或许有一天她会穿上皇后的衣冠的！”