为了使新宪法在弗吉尼亚得到批准，应华盛顿的强烈要求，麦迪逊又参与了争取新宪法得到批准的运动，因为华盛顿看到，在弗吉尼亚，反对宪法的势力相当强大。通过竞选，麦迪逊进入了弗吉尼亚州的批准会议，他不仅成了赞成批准一派的领袖，而且指导了会议辩论。麦迪逊有力地为联邦制和分权原则作辩护，他一再强调：新宪法将给国家带来安全、稳定和繁荣。经过极其激烈的斗争，宪法在弗吉尼亚得以批准。

在宪法批准运动中，麦迪逊写文章阐述了他本人的宪政思想，以说明新宪法对于美利坚民族繁荣富强的重要意义，强调它优于《邦联条例》并试图消除人们对加强政府权力的恐惧心理。这些文章被编入《联邦党人文集》，成为对联邦宪法的权威性解释，麦迪逊的几篇最精彩的论文是其中的精华部分。

但麦迪逊为此也付出巨大代价。由于他在弗吉尼亚的宪法批准运动中冒犯了政治强人帕特里克·亨利，而亨利的强烈抵制使他未能进入国会参议院，后经过激烈竞争才进入众议院。

新宪法中没有权利保障条款，这与麦迪逊一贯的政治原则不符。为了弥补这一重大缺憾，麦迪逊参加了起草《权利法案》的工作。1791年，国会终于通过了宪法前十条修正案（即《权利法案》）。

国务卿 在众议院任职早期，麦迪逊是华盛顿总统的亲信和重要助手，这主要是由于他在制宪运动中的杰出表现给华盛顿留下了极深的印象。他提出过许多重要的法案，其中一些通过生效，如税收法等。他在建立政府行政部门的过程中为华盛顿总统出谋划策。华盛顿的一些重要文件也出自他的手笔，如《就职演说》和《告别演说》。由于麦迪逊的卓越贡献和巨大影响，他在议会中实际上扮演着议长的角色。据此，甚至有些人认为麦迪逊在华盛顿政府中享有某些“特权”。但两人的这种蜜月关系未能持续很久。

1794年9月15日，四十三岁的麦迪逊与二十六岁的寡妇多莉·佩恩·托德在西弗吉尼亚杰斐逊县的海尔伍德举行了婚礼。1797年定居于蒙彼利埃。多莉是个俏丽活泼、体态丰腴的美人，她喜欢着丽服、戴珠宝、出入大雅之堂，举止优雅大方，待人诚恳热情，是社交界中的宠儿。她的个人魅力为麦迪逊的事业增色不少。鳏居的杰斐逊任总统期间，多莉还常常扮演白宫女主人的角色。麦迪逊当总统后，多莉的风采更是倾倒了整个华盛顿，人们认为：她是早期美国第一夫人中的佼佼者。

但是，汉密尔顿的联邦主义与杰斐逊的民主原则很快就发生了冲突，并导致激烈的党派之争。麦迪逊的政治观点原来就与杰斐逊相近，二人的私交也相当好，很快就成为坚定的政治盟友。他们反对汉密尔顿的财政计划，认为它会使大资产阶级拥有特权从而控制政府，危害州和人民的权利。他们还认为：共和政府应建立在人民的美德和农业经济之上，政府的统治应得到人民的同意。这种主张与汉密尔顿建立英国式政体的观点大相径庭，在此基础上形成了美国最初的两大政党——共和党和联邦党。麦迪逊成为共和党的实际组织者。