晋怀帝永嘉三年（公元309年），刘渊采纳大臣们的建议，迁都平阳（今山西临汾附近），大赦境内，改元河瑞。汉军当时的攻势渐渐形成灭晋之势。

晋朝内部传出的消息令人失望，由于东海王司马越独揽大权，他所立的晋怀帝已经与他产生了尖锐的矛盾。怀帝多次秘密会见其亲信大臣缪播等人，有除掉司马越之意。司马越觉察到缪播等人的行径，在宫中发动突然的军事行动，将正与晋怀帝讨论密事的缪播等人一并诛杀，同时斥逐保卫皇宫的武将，司马越与诸官之间形成对立。（司马越兵权在握，而所谓的皇帝的亲信大臣们又尚未得到可以信赖的寸兵一卒，一旦有变故，没有实权的皇帝只能在一边偷偷流眼泪。权臣之难以对付，众多的例子可以做上一个最好的注脚。但所谓对内可以靠自己的权术，对外则得靠真正的军事实力和军事才能，而实力与才能显然不可能靠动点小聪明就改变，这就是司马越与曹孟德、司马懿之辈的最大的差距。）

晋左积弩将军朱诞痛恨司马越的倒行逆施，失望之下叛降刘渊，并向刘渊陈述了洛阳防守的弱点，劝刘渊出兵攻打晋都洛阳。刘渊本有此意，当即以朱诞为前锋都督，为汉军开路，以平晋大将军刘景为大都督，向洛阳方向进发。汉军很快攻克黎阳、延津等地，并击败晋车骑将军王堪，刘景在延津附近将晋朝的三万百姓沉入黄河。

刘渊闻听这个消息，勃然大怒，说：“刘景有何颜面回来见朕？更何况天理岂能容他！我要除掉的，司马氏罢了，百姓何罪？”立刻将刘景降为平虏将军。

（此时的刘渊再次显示出他重视汉政权对晋朝百姓的影响，可见其欲匡扶天下之心。比起他的那些接班人，以及十六国中不少只知穷兵黩武，屠戮生灵的统治者，这点已经很不容易了。）

在东线战场，即冀州一带，石勒先后攻陷了冀州郡县壁垒百余个，兵力增至十余万人。

石勒的军事胜利不仅影响了周围的诸胡部落，也影响了不少报国无门的晋朝汉人士族。赵郡人张宾，就是个相当有才华的低级士人，他自叹世风日下，难逢明主，总是对他的兄弟们说：“我自以为才智谋略不比张子房差，可惜我却遇不到我的汉高祖啊。”

石勒大军席卷河北大地，张宾兴奋地对亲人们说：“我见过的当今为将者多了，唯独这位石勒将军可与之共成大事。”他立即提剑来到石勒军中，大叫着要见石勒。起初石勒并未觉得此人有何特殊之处，但经过接触以后，终于意识到张宾确有独到的见解，渐渐开始重用他。

当时来投奔石勒的士人越来越多，石勒认识到自己欲成大事，必须依靠这些在晋朝不得志的士人的帮助，他以张宾为谋主，加上不少低级士族，别立一营，号为“君子营”，为他出谋划策。石勒对汉人的利用，有甚于刘渊。同时，主要聚居在并州的羯人更是积极投奔石勒，石勒借助其在冀州一带的成功极大地增强了自己的实力。

连战连胜之后，这年八月，刘渊正式发动对洛阳的总攻势。他派楚王刘聪与晋叛将王弥攻打壶关，并以石勒为前锋都督。汉军在击败了并州刺史刘琨的军队之后，很快逼近洛阳，东海王司马越派平北将军曹武和将军宋抽、彭默等出兵抵抗，均被汉将刘聪击败。刘聪长驱直下宜阳，平昌公司马模派将军淳于定、吕默等从长安方面出发前往抵抗。两军战于宜阳，淳于定等又被击败。

眼看洛阳危急，弘农太守垣延献诈降计投奔刘聪，而连胜的刘聪此时也有些头脑发昏，竟不设防。垣延对汉军发动夜间突然袭击，刘聪大败而还，汉军进攻洛阳的第一次战争以晋军大胜结束。这场战争的失败显然给急于灭晋的刘渊当头一棒，刘渊穿着素服迎接刘聪的败军。

这年冬天，刘渊不甘心失败，以举国之兵力，令刘聪、王弥、刘曜、刘景等率精骑兵五万为前锋，以其岳父大司空呼延翼率步兵、骑兵为后继，向洛阳发动突然袭击。一时间晋军猝不及防，在河南被汉军击败，但汉军显然未从几个月前的第一次惨败中完全恢复过来，晋护军贾胤等率勇士千余人夜攻刘聪军，两军战于大夏门，刘聪军溃散。刘聪转而向南，驻军于洛水，进而屯军于洛阳宣阳门之外，此时呼延翼被部下杀死，其部下兵士溃散。

刘渊得到老丈人被害的消息，自觉暂时难胜晋军，就下令刘聪还师。刘聪认为晋军势弱，不可轻退，请求留下来继续攻打洛阳，刘渊总算同意了他的请求。但刘聪取胜的信心也开始动摇，他竟然自己一个人跑到中岳嵩山，去祷告天神，将留守大营的任务交给了部下刘厉和呼延朗。

司马越乘着汉军主帅在外的空虚之际，采纳了参军孙询的建议，令部将孙诲等率精兵三千人自宣阳门出击汉军，汉军大败，呼延朗被阵斩，刘厉无奈之下投水自杀。

刘聪得不到天神的保佑，从嵩山下来，只能垂头面对残兵败将，王弥对他说：“当前我军失利，洛阳城守备更加坚固，我们的粮草也支撑不了多少时间了，殿下不如率部退回平阳，徐徐图之。”刘聪心想当初提出留下与晋军决战的正是自己，如今若是就这么退兵未免颜面扫地，而且还有可能被治罪，因此踟躇不定。

在平阳观望战事的刘渊得到战败的消息，也失望之极，身边一个卜卦的大臣宣于修之进言：“攻克洛阳，岁在辛未（指两年后的公元311年）；现在晋军气盛，大军不归，必将溃败。”刘渊也明白心急吃不成热豆腐，只好将刘聪的军队召回。