新会的历史在岭南五邑的传统文化中具有特殊地位。中央王朝在这里设置行政建制是在东汉末年,最初叫“平夷县”,可见当时的族群状况和经济、文化落后的情景。大致在南北朝的刘宋时期,改名升格为“新会郡”,从此新会之名沿用至今,已有一千九百多年了。那时的新会,管辖的地域比今天要宽广得多。从明朝中期开始直到清初,为了海防和经济开发、社会治安的需要,新会县陆续一分为四,先后划分出台山县(明弘治十二年,1499)、开平县(清顺治六年,1649)和鹤山县(清雍正十年,1732)。有意思的是,虽然鹤山也是从新会分出,然而从19世纪中期以来,海外的台山、开平、新会的乡亲在心理上长期不认同鹤山,华侨社会中流行的“四邑”并不包括鹤山,反而是在行政上一直隶属粤西的恩平县被拉了进来。恩平县在古新会县的西边,处于珠江三角洲与粤西丘陵山地的交界地带,其设县的时间与古新会同时,但是长期以来政区与新会两属。这种行政区划与民众心理区划的矛盾,是地理和文化、历史因素相互作用的结果。鹤山民众喝的是西江水,而流经开平、新会、台山、恩平的则是另一条河流,四县同饮一江水,自然在文化、习俗、语言诸方面就要相近得多。清朝雍正年间设置鹤山县,主要是为了安置粤东的客家移民,至今当地的方言中还有不少客家话的痕迹,而另外四个县的方言则比较一致,说“四邑话”。咸丰、同治年间,在今天的五邑地区爆发了震惊全国的“土客械斗”,前后长达十二年,亲痛仇快,最后分布在台山、开平、新会、恩平的客家人被强制迁出,只有鹤山的客家人基本守住了自己的家园。这一事件成为拉大鹤山与新会、台山等四县民众心理距离的助推力,历史的恩怨影响到了后来人。