要是说起命运不济来，大概没有人比得过许广汉了。他给昌邑王当侍从时，有一次随汉武帝赴甘泉，因为误拿了别人的马鞍，硬被说成从行偷盗，差一点被杀掉，亏得汉武帝开恩，按照旧规矩，免死阉割后送到宫中当了宦者丞。汉昭帝时，上官桀等人谋反，许广汉奉旨到上官桀府中搜寻谋反证据。明明知道上官桀有千条的长绳，许广汉偏偏找它不到，结果被别人找到。于是许广汉又被论罪，罚为宗庙采供柴薪，事后被命为暴室（有罪宫人居住之处）啬夫。殊不知许广汉倒霉至此，却恰恰因此得了转机。

原来当年武帝太子因“巫蛊之祸”自杀后，他的孙子号皇曾孙被养于掖庭，与许广汉同住在一起。掖庭令张贺本是太子家吏，受宫刑后留在宫中，因此对皇孙特别关照。眼看皇曾孙一天天长大，就想将自己孙女嫁给皇曾孙。张贺的弟弟张安世为右将军，听说此事后大怒，骂道：“这皇曾孙是原太子之后，如今幸得一口饭吃，已经到头了，再别提嫁女之事了。”张贺只得作罢了。

许广汉有个女儿许平君，这时已长到十四五岁了，本当出嫁，恰巧男的死了，故暂时仍在家中。她母亲让人给女儿平君算了一卦，说是当有大富贵，心里很是高兴。张贺听说许广汉有这样一个女儿，就又打上了主意。他请许广汉喝酒，酒间提起了这门亲事。

“别看皇曾孙如今这样，他毕竟是个皇亲，将来顶不济也是个关内侯，你女儿嫁给他错不了。”

许广汉心想，一个啬夫的女儿，还能指望什么？于是点头应允下来。他的老婆听说后气得要死，本指望女儿富贵，不想嫁给个罪废的皇亲。许广汉不顾老婆反对，硬是将女儿嫁了过去。婚后一年，许平君生下个儿子，又过了几个月，皇曾孙被立为皇帝，这就是汉宣帝刘询。这一来形势突变，许广汉一家一步登了天。

许平君起初被立为婕妤。大臣们见她是啬夫之女，不欲立她为皇后。大将军霍光也有个女儿，众人心里都觉得她才当入宫为后。可是宣帝却颇重旧情，不忘自己当年受苦时的伴侣，大臣们见此情形，只得按照宣帝的心思立许平君为皇后。

大将军霍光的夫人本来也想将自己女儿送入宫中为后的，不想却让一个啬夫的女儿占了皇后的位置，自然不肯甘心。

本始三年（前七一年），许皇后怀孕中生了病，召女医淳于衍入宫诊治。淳于衍的丈夫想通过大将军霍光升官，让她去求霍夫人。霍夫人见到淳于衍入宫为许皇后治病，当即心生一计，她遣退左右，对淳于衍说：“您让我办事，我也求您办点事，怎么样？”

见霍夫人如此客气，淳于衍不由有些受宠若惊了，连声答道：“夫人有话尽管说，有什么不可以的呢？”