刘渊曾以侍子（即人质）身份留居洛阳。西晋伐吴前夕，王浑向晋武帝推荐刘渊，经过一席交谈，司马炎对刘渊之才大为赞赏，对王济说："刘渊容仪机鉴，虽由余、日磾无以加也。"王浑乘机举荐刘渊为将，讨伐东吴，司马炎正想应允，大臣孔恂、杨珧搬出一句最具种族歧视的话："非我族类，其心必异。臣观刘渊之才，当今惧无其比，陛下若轻其众，不足以成事；若假之威权，平吴之后，恐其不复北渡也。"司马炎默然。泰始初，鲜卑秃发部首领树几能在凉州起兵反晋，李熹建议任命刘渊为大将军，发五部匈奴兵西征凉州。孔恂又反对，认为刘渊比树几能更加可怕，让他平定凉州，只会增加他的实力。"刘渊若能平凉州、斩树几能，恐凉州方有难耳，蛟龙得云雨，非复池中物也。"司马炎终于没让刘渊去。

晋室朝廷对刘渊的不信任，终于让其心灰意冷，后来，他的好朋友东莱士族王弥从洛阳东归，刘渊给王弥饯行于九曲之滨，把酒哭泣道："王浑、李憙以同乡相知，每每在陛下面前夸奖我，谗言却因此越来越多，我本来就不想做官，足下是知道的，恐怕我将身死洛阳，永远见不到你啦！"慷慨?#91;欷，纵酒长啸，声调亮然，坐者为之流涕。刘渊意识到民族之间有着多么深的鸿沟，报国无门不说，身家性命尚且难以保证。齐王司马攸时在九曲，听闻此事，劝司马炎说："陛下不除刘渊，臣恐并州不得久宁。"你越是排斥人家，人家离你越远，不能用则杀之，多么无奈的举动啊，这岂非民族之间永世的悲哀。晋武帝却不能杀他，杀了刘渊，连抹在民族裂痕上的那点虚伪也会被剥光。司马炎对刘渊的任用上，显示了封建王朝典型的少数民族政策，抚而不能用。

刘豹死后，刘渊继任父职做匈奴左部帅，因他推诚接士，轻财好施，幽、冀名流纷纷不远千里前来归附。晋惠帝继位后，由杨骏辅政，杨骏为拉拢天下有兵权的人物，任命刘渊为建威将军、五部大都督、封汉光乡侯，后因过失免官。

李特起义、八王之乱爆发后，镇守邺城的成都王司马颖一度执政，为拉拢匈奴人，任命刘渊为宁朔将军，监五部军事，协守邺城。当时中原战乱，并州境内的汉族居民大都流徙其他地区，胡汉势力的分布和力量对比发生了重大变化，匈奴刘氏贵族见有机可乘，开始策划"兴邦复业"起兵反晋。刘渊的从祖父刘宣在匈奴人中大力推崇刘渊："昔年我匈奴族先人与汉约为兄弟，忧泰同之，自汉以来，魏晋代兴，我单于虽有虚号，无尺土之业，自诸王侯，降同编户。今司马氏骨肉相残，四海鼎沸，兴邦复业此其时也，左贤王刘渊姿器绝人，斡宇超世，天若不恢崇单于，终不虚生此人也。"匈奴人在他的鼓动下，派人联络邺城的刘渊，准备起兵。

公元304年，司马颖受到司马越的讨伐，幽州刺史王浚率鲜卑和乌桓人进攻邺城，司马颖欲弃城逃走，刘渊劝他坚守，假托回并州招募五部匈奴救援邺城，乘机返回左国城（今山西离石县）。刘渊回到左国城后召集兵众，被诸部匈奴共推为大单于，二旬之间，拥众五万。刘渊准备救援司马颖，刘宣等匈奴人却劝他恢复大匈奴的事业："晋朝人像奴隶一样使用我们，现在他们骨肉亲人之间互相残杀，是上天抛弃他们而让我们光复呼韩邪的事业。鲜卑、乌桓，是我们的同类，可以作为后援，怎么能攻打他们呢？"刘渊此时早已没有了当初欲为晋朝效力的一片忠心，但他却不屑仅仅做一个大单于，雄心勃勃地表示："你们说得对！不过大丈夫当为汉高祖、魏武帝，呼韩邪何足效哉！"

刘渊说这话，表面上一看雄心壮志更大，欲做中原的皇帝，不做匈奴的单于，其实他有自己的想法，匈奴人想拥兵自重，必然要与晋国作战，汉族人多，匈奴人少，如何才能取得战争的胜利呢？出师要有名，国家要有道。有正统才能争人心，于是刘渊抛弃匈奴人的外衣，祭出他的政治纲领，指出晋朝是非法的，他解释说："汉朝长久的拥有天下，人民崇尚汉朝，昔年汉与匈奴和亲，公主屡次出塞，我们大匈奴就是汉朝的外甥，是兄弟，兄亡弟继，难道不可以吗？"于是刘渊建国号为汉，并以天下未定为理由，暂不称帝，依汉高祖刘邦之例称汉王。追尊安乐公刘禅为孝怀皇帝，做汉三祖、五宗神主进行祭祀，不祭历代匈奴单于，从这个意义上说，刘渊做了大汉的儿皇帝。刘渊的这套措施基于他对当时民族形势的正确研判，将匈奴人融入汉人中间，消除两大民族之间的隔阂，毫无疑问，他推行的这套政策相当成功，争取到一部分汉人的支持，包括山东的大士族王弥成为他在关东（延续三国的称法）的得力战将，刘渊的声势一天天高涨。