跟随羊祜后，王濬开始屡建功勋。他最初在羊祜军中担任的“参军”一职，主要负责整顿军队纪律。在这个职务上，王濬依然铁面无私，甚至连跟随羊祜征战多年的名将们也不姑息。这等于是不给羊祜“面子”，但没面子的羊祜，反而很高兴，对王濬大力提拔，先做了从事中郎，后来又当上了巴郡太守。当时的巴郡，就是现在的四川重庆，与东吴的领地接壤，是西晋重要的战略要地。能执掌如此重要的地方，自然是因为羊祜对王濬的赏识。不过，王濬上任后才知道，这赏识是有条件的：巴郡，是当时西晋边镇中最麻烦的地方。

在西晋统一中国之前，作为西晋边境的巴郡，主要特点就一个字：乱。常年的战争，让当地百姓苦不堪言，与东吴接壤的地区，几乎打成了无人区，老百姓大量逃亡，土地大片荒芜。可这还不算最麻烦的，最麻烦的是当地持续很久的“弃婴”风。由于长期战乱，巴郡老百姓的负担非常重，尤其是要承受频繁的兵役，家家户户都有人战死沙场。为了逃避兵役，大多数家庭都不愿意生男孩。那时候没有先进的流产避孕技术，所以生了男孩的家庭，孩子生下后好多都不声张，偷偷扔掉。甚至到了后来，在巴郡通往外界的要道上，每走一段，都能看到路边被抛弃的男婴，这样的局面，可以说是人心思乱。

巴郡外面的麻烦也不少，当时的重庆地区，还处于汉夷杂居的时期，巴郡的周边有许多少数民族部落，因为经济穷困，经常骚扰巴郡百姓。镇守在当地的西晋军队，也时常仗势欺人，劫掠周围的少数民族部落，从曹魏平灭蜀国开始，几十年来，当地军队与少数民族之间的械斗就从未间断过。政府穷，老百姓苦，战乱多，这就是初任地方官的王濬，面临的乱如麻的局面。

但王濬不怕，在河东做官的时候，皇亲国戚都不放在眼里，巴郡的麻烦又算什么。不过他一反当初打击腐败时候的苛刻做法，在巴郡当地“为政以宽”，甚至还出台了中国历史上最早的“奖励生育”政策，规定凡是家里有男孩的，国家都给予奖励，生男孩的家庭，国家还承担部分生活费用，并且减免赋税。对于之前当地百姓需要负担的各种赋税，他也大量减免。如此一来，当地的秩序很快安定下来。

对待老百姓宽容的王濬，对待贪污腐败依然不手软，在巴郡担任太守的时候，他多次惩治腐败官员。那时候，当地的军将经常抢占老百姓的土地，王濬到来后，对巴郡周围的土地重新进行清查，凡属侵占的一律还给原主。就这样短短几年，饱受战乱之苦的巴郡，逃亡难民纷纷回归，人口土地大为增加，仅国家可以收取赋税的自耕农土地，在他在任的几年里，竟然整整增加了4倍，人口也增加了3倍。不但巴郡老百姓安居乐业，就连对面“敌国”东吴的百姓，也纷纷归附到巴郡。在他担任巴郡太守的最后一年，东吴归附巴郡的百姓数量，竟然有3万多人，对于志在一统天下的西晋王朝来说，此举自然起到了“统战”的作用。

因为治理巴郡政绩卓著，王濬很快就在西晋政坛里冒头，之后他又担任了广汉太守。广汉，就是今天的四川遂宁，在广汉太守任上，王濬干了一件差点给他带来杀身之祸的事。公元272年，益州军官张弘造反，杀掉了益州刺史司马晏，并派兵大规模进攻广汉。当时王濬虽然手握重兵，但西晋军制规定，调动军队需要有朝廷的命令，否则一兵一卒也不能调动，叛乱十万火急的局势下，王濬当机立断，不等朝廷下令，就擅自调动了广汉驻军平叛。这时候的广汉驻军，在王濬长期严格训练下，战斗能力很强，张弘虽然在兵力上有绝对优势，却被摧枯拉朽地平定。事后，有官员指责王濬的做法，但是在老领导羊祜的维护下，王濬还是得到了封赏，被封为关内侯，并顺水推舟，封他为益州刺史。益州刺史，是当时中国大西南最位高权重的地方官，它的辖区包括今天四川大部以及云南、广西、西藏的部分地区，可谓是“西南王”。

在这个职务上，王濬依然延续自己的“狠毒”之风，不过对象变了，主要不是贪官污吏，而是当地的各种“邪教”。当时的益州地区，虽然是西晋一部分，但是这个地区，开始并未受到西晋政府的重视，居住在当地的大部分是迁徙过来的北方农民。由于统治松散，在蜀汉政权灭亡后，各种散布怪力乱神的邪教组织纷纷活动，他们在当地欺骗乡民，成立教派，拉帮结派，奸淫妇女，甚至互相攻打策动叛乱，先前的张弘反叛，也是由当地的教派操纵。对这种问题，之前的政府部门大多睁一只眼闭一只眼，乐得无事。王濬是个眼里不揉沙子的人，他到任后立刻取缔各种邪教，对邪教徒们的犯罪进行打击。不过他并不只是“高压”，为了彻底根除邪教，他还对邪教头子们进行了公开审判，宣布其罪恶，揭穿各类邪教的骗人把戏。他甚至组织了“宣传队”，在各个村庄中来回走访，可以说是“帮助群众破除封建迷信思想” 。同时他大搞“精神文明建设”，由官府出钱在当地设立学堂，从中原礼聘教师前来讲学，即“重教化”。此举对于整个四川的历史都有重要影响。从东汉末年战乱开始，四川地区人口增多，鱼龙混杂，当地动乱不止，文化极其落后，王濬此举，让儒家文化重新在四川大地传播开来，无论对四川的人心稳定，还是文化发展，都有着重要意义。

多年以来的出色政绩，让王濬成了当时西晋的“优秀地方官”，也因此被调任“大司农”。他离开前，因为在益州威望颇高，当地百姓苦苦挽留，沿着四川的群山峻岭一路相送，有的老百姓居然从成都一路跟到了重庆。这次他被提拔，同样是因为得到了老领导羊祜的举荐，因为此时的羊祜，正在为晋武帝司马炎筹划一件大事——统一中国。

此时的西晋政权和东吴政权南北对峙，西晋拥有整个中国北方以及四川盆地，东吴的统治只局限在江南一隅，一统华夏，貌似只剩下最后一步，但是这最后一步却不好走。长年以来，东吴的水军是当时中国最强的，西晋虽有当时最强大的陆军，放在水里却没招。尤其是东吴的主力战船，比西晋要大很多。多年以来，从曹魏到西晋，也发动过对东吴的进攻，无论陆地上打得多顺利，只要一下长江，就会被东吴打得很惨。渡江，成了西晋统一全国的“无解难题”，王濬，就是要来解决这个难题的。

王濬被调任大司农时，洛阳城就有民谣“阿童复阿童，衔刀浮渡江，不畏岸上兽，但畏水中龙”。这个民谣的意思，是说最终将由一个叫“阿童”的人完成统一大业，巧合的是，王濬的小名就是叫“阿童”。王濬做大司农的时候，一直赏识他的羊祜也被调回了京城，司马炎经常召羊祜密谈，商议灭吴的战略。羊祜认为，平灭东吴，关键在于要拥有一支强大的水师，而要想拥有强大的水师，首先就要有强大的战船，因此他提出了一个规模巨大的“造舰”计划，主要负责人就是王濬。这个计划要造大批新式战船，体积巨大，在当时号称“楼船”，既要花费国家大量资财，又要调动大量人力，稍有不慎就可能激起民变。所以计划提出来之后，晋武帝本人也很犹豫。羊祜告诉晋武帝，能完成这个计划的人，只有王濬。几经考虑之后，晋武帝终于命令王濬回任益州刺史，执行这个关系统一大业的“造舰计划”。

拿到这个计划之后，王濬才知道有多难。这个计划要求建造上百艘“楼船”，在当时的科技条件下，这就好比一个现代国家需要在短期内制造几百艘航空母舰，难度可想而知。造船的主要地点，是王濬为官多年的四川地区，这项工程耗费人力物资非常巨大，很可能会成为当地百姓的负担。在四川生活多年的王濬也知道，当时的四川，一直就是“多乱”之地，因为和中央距离遥远，当地经常发生暴乱，南面的少数民族还经常骚扰此地，此时实行这个计划，是一件牵一发动全身的大事。