有一天，一位古玩商登门拜访了赵明诚，说他有一件稀世珍宝要出手，汴京城里有钱的人不少但识货的人不多，好货自然要卖与识家云云。等那人将他的“货”取出，赵明诚一看便惊呆了。那是一幅五代南唐人徐熙画的《牡丹图》。此图一改前人画花木先用细笔勾勒然后填彩晕染的画法，而是用粗笔弄墨，草草写出枝叶萼蕊，怒放的牡丹花朵用彩色画出，色不碍墨，不掩笔迹。赵明诚知道，这是徐熙首创的“落墨花”画法。徐熙以画花鸟而闻名画坛，他的画多为宫廷收藏，传世不多。后人将徐熙与后蜀画家黄筌并称为“徐黄”，有“黄家富贵，徐熙野逸”之评。这幅《牡丹图》被那古玩商称为“稀世之宝”，并非夸大之词，它确确实实是难得之物。

赵明诚有些爱不释手了。问那人价钱，那人开价二十万钱，而且表示决不还价。二十万钱可不是一个小数，当时汴京城里的富家子弟也不是轻易就能拿出这么多钱的。赵明诚喊出妻子李清照，让她帮忙拿拿主意。李清照仔细看了那画之后，心想：这画二十万是值，可是自己家里确实没有那么多钱。她想了想，对那人说：“能不能这样，先把画留下，让我们再想想办法。”那人说行，可是不能久留，第二天就要来听信儿。

这一天，赵明诚和李清照商量来商量去，能想的办法都想到了，怎么也凑不齐二十万钱来。第二天，那人来把画取走了。赵明诚和李清照像丢了魂似的，一连好几天，夫妻二人一想起来心里就难受，连饭都没有心思吃。直到许多年以后，他们每想起此事都会感到惋惜。

李清照婚后第四年，即崇宁四年（1105）三月，赵挺之的官位升到了尚书右仆射（右相）兼中书侍郎。由于与左相蔡京不和，赵挺之多次请求皇帝让他退避。三个月后，他被免去了右相职务，以金紫光禄大夫的身份担任了一份闲职——观文殿大学士。所谓观文殿大学士，实际上就是皇帝的高级顾问。宋代官制，只有出任过丞相的人才能担任大学士。这年十月，赵家兄弟三人都升了官，赵存诚为卫尉卿（主管兵械、甲胄保管事务的长官），赵思诚为秘书少监（主管朝廷图书、实录、国史等事务的副长官），赵明诚任鸿胪少卿（主管典礼、礼仪等事务的副长官）。第二年二月，赵挺之请求退休回青州，呈文奏上后，恰恰那天天上出现了彗星，宋徽宗认为这是天意要留赵挺之，便又让他担任了右相，同时罢免了蔡京的左相。赵挺之干了不到一个年头，大观元年（1107）正月，蔡京忽然又当上了左相。赵挺之与蔡京少不了又有些磕磕碰碰。三月，他因病再次请求退职。宋徽宗这次答应了，授他特进观文殿大学士、佑神观使。赵挺之第二次从丞相要位上退了下来。不料，五天之后，赵挺之便因发急病而去世了，终年68岁。