但是衡山王刘赐糟糕的家庭关系，在很大程度上毁掉了他的所谓事业。

刘赐的第一任王后叫做乘舒，育有太子刘爽、女儿刘无采、少子刘孝。姬妾徐来为他生育四个子女，美人厥姬生下两个儿子。乘舒死后，刘赐立徐来为王后，又极宠爱厥姬，这就不可避免地造成两个女人争风吃醋。

厥姬在太子刘爽面前诋毁徐来，你的母亲乘舒是因为徐来指使婢女诅咒而死。信以为真的太子刘爽从此怀恨在心，在一次与徐来兄长饮酒的过程中刺伤了对方。此事引起了徐来的不满，徐来不断在刘赐面前诋毁刘爽。

刘无采出嫁不久就被丈夫抛弃，回到衡山家中后与家奴通奸。兄长刘爽指责妹妹刘无采，刘无采从此不再与哥哥来往。王后徐来显然深知敌人的敌人就是自己的朋友这一道理，便主动接近刘无采，同时给予年幼失母的刘孝以虚假的母爱，彻底俘获了姐弟两人与她一起诋毁刘爽。

并无知人之明的刘赐深信王后和女儿、少子之言，几次将太子刘爽捆绑鞭笞。元朔四年（前125）年中，有人打伤了徐来的继母，怀疑此事乃是太子刘爽所为的刘赐再次鞭笞刘爽。事后刘赐卧病在床，太子刘爽以自己生病为由没有尽服侍父王的义务。刘无采和刘孝姐弟乘机向刘赐诋毁刘爽，说太子根本没有生病，而且对父王卧病不起幸灾乐祸。于是，衡山王萌发了废掉刘爽改立刘孝为太子的念头。

王后徐来的真实意图是立自己的儿子为太子，她设计安排刘孝与自己身边的一个舞伎通奸，而这名舞伎又曾被衡山王所宠幸，徐来的计划是一并毁掉刘孝，则其子便可顺理成章地立为太子。

已经岌岌可危的太子刘爽获知了徐来的计划，这个高帝的曾孙已经被王后的心计折腾得疲惫不堪，再也无力与之对抗。费尽心思之后，刘爽想出了一个自以为高明却龌龊不堪的解决办法，他希望可以和继母通奸，以男女之情换取其放弃敌对的姿势。

在一次徐来宴请太子的酒席中间，刘爽为徐来祝酒，之后抱着继母的大腿恳求“同卧”。恼羞成怒的王后徐来报告衡山王太子无礼。刘赐气愤至极，下令召逆子刘爽，好给他一顿足够的教训。太子刘爽此时已经知道，父王计划废掉自己改立弟弟刘孝，就向刘赐告发刘孝与舞伎通奸、刘无采和家奴通奸，并在扬言要向朝廷上书之后偷偷出发。大惊失色的刘赐赶紧派人追赶，却没有人可以将太子拦住，刘赐只好亲自带人抓住刘爽，用狂野乱语的罪名把他囚禁于王宫。

显然，刘赐并没有发现刘孝勾引舞伎的行为，也不相信刘爽的告发。衡山王欣赏最为宠爱的少子刘孝的才能，特意为他佩戴上衡山王印绶，称之为将军。又在王宫之外为刘孝建起豪华府邸，拨给巨额经费，由刘孝招徕四方宾客。获知淮南、衡山谋反情由的亡命之徒从四面八方赶来衡山投靠，怂恿刘孝起兵夺取天下。刘赐又指使刘孝的门客枚赫、陈喜等人制作车以锻造箭矢，刻制天子玉玺，将、相、军吏印章，召集周丘等亡命之徒，经常讨论研究吴、楚七国叛乱时候的军事得失。

元朔五年（前124）秋，刘赐入朝天子。元朔六年（前123），刘赐返国途中路经淮南，与兄长淮南王刘安尽释前嫌，约定共同起兵。刘赐回到衡山国后立刻上书，请废太子刘爽、改立刘孝。被彻底激怒了的刘爽尚被监禁于衡山王宫，便派遣白嬴到京师上书告发。

查清真相之后的张汤立即上奏武帝，请求逮捕衡山王刘赐。武帝没有同意，派遣中尉司马安、大行李息赴衡山当面讯问刘赐。毫无抵抗意志的刘赐对谋反一事供认不讳。中尉和大行布置官吏包围王宫看管刘赐后回京复命，公卿列侯奏请武帝派遣宗正、大行会同沛郡再做进一步的审理，刘赐听到消息后自杀。

衡山王后徐来同案被查实确曾巫蛊前王后乘舒而被弃市，太子刘爽因为告发父亲，犯不孝之罪也被弃市。其他参与谋反的人员一概诛杀，衡山国国除为郡。

对刘孝的处理，显出了廷尉张汤严格执法的帝国酷吏水准，虽然刘孝自首在前不问其造反罪名，但刘孝因与父王侍妾通奸获罪同样被弃市。