在某种程度上，西汉初期的分封制可视为西周分封制度的死灰复燃，因而也就具有西周分封制度的所有弊端。其最大的负面作用是，这种国中之国对中央政府的离心力必然越来越强，成为瓦解中央集权和导致分裂的因素。有学者估计，西汉初期，中央政府直辖区只有15郡，人口约97万户、450万人，而各诸侯王辖区加起来，人口却已达到180万户、850万人，已经呈现出尾大不掉之势。

汉文帝、景帝在位时已经注意到，诸侯王的存在是对汉帝国的一种潜在的威胁，开始逐步削弱诸侯王的势力。一方面，景帝下令，诸侯国由中央任命官吏管理其内部政务，剥夺诸侯王的行政权力；另一方面，又实行“削藩”，就是以种种借口将诸侯王的部分属地收归中央直辖。汉武帝时期又颁布“推恩令”，允许诸侯王将自己的领地分割，同时册立其多个子孙为列侯。在此政策下，诸侯的数量大增，而每个诸侯的领地却都大大地缩小了，不再具有与中央政府对抗的实力。

经过一系列的变化，汉代的诸侯国逐渐成为一种特殊的地方行政机构。因此，通常认为，汉代的地方行政体制是郡国并行制。

汉代地方行政体制的另一个变化是，开始设立特别行政机构，以管理边疆地区和少数民族，最典型的是管理西域各国的西域都护、管理羌人的护羌校尉、管理乌桓人和鲜卑人的护乌桓校尉。

也是在汉武帝时期，西汉设立了13部刺史，就是将全国分为13个区，分别派刺史负责本区的监察工作。后来刺史改称州牧。随着州牧权力的扩大，原本是监察区域的州，就逐渐成为凌驾于郡之上的地方一级行政机构了。到东汉后期，地方行政体制就由原来的郡、县二级体制，演变为州、郡、县三级体制了。