晋惠帝（司马衷的谥号）元康末年，成都王司马颖被任命为镇北大将军，镇守邺城。鉴于刘渊的影响力，就起用他为宁朔将军、监五部军事，将他调到邺城。

这时，“八王之乱”开始，天下大乱，匈奴部族也自然有些想法了。刘渊的从祖，原北部都尉、左贤王刘宣等人在一起议论时说：“从前，我们的先人与汉室约为兄弟，忧泰与共。自汉亡以来，魏晋代兴，我们的‘单于’虽有虚号，却没有寸土之业，从王侯降为编户（与普通老百姓无异了吧）。现在司马氏骨肉相残，四海鼎沸，看来是我们兴邦复业的时候了。”

众人都认为刘渊“姿器绝人，干宇超世”，一致推他为大单于，并派同党呼延攸到邺城密告刘渊。刘渊也是早有此心，便借故向司马颖请归，司马颖毕竟心有疑虑，并未放行。刘渊只好让呼延攸先回去捎上口信，命刘宣等人召集匈奴五部人马及其他的胡人，以响应司马颖为名，准备起事。于是晋室江山在风雨之中，已是摇摇欲坠了。