在宪法批准运动中，麦迪逊写文章阐述了他本人的宪政思想，以说明新宪法对于美利坚民族繁荣富强的重要意义，强调它优于《邦联条例》并试图消除人们对加强政府权力的恐惧心理。这些文章被编入《联邦党人文集》，成为对联邦宪法的权威性解释，麦迪逊的几篇最精彩的论文是其中的精华部分。

但麦迪逊为此也付出巨大代价。由于他在弗吉尼亚的宪法批准运动中冒犯了政治强人帕特里克·亨利，而亨利的强烈抵制使他未能进入国会参议院，后经过激烈竞争才进入众议院。

新宪法中没有权利保障条款，这与麦迪逊一贯的政治原则不符。为了弥补这一重大缺憾，麦迪逊参加了起草《权利法案》的工作。1791年，国会终于通过了宪法前十条修正案（即《权利法案》）。

国务卿在众议院任职早期，麦迪逊是华盛顿总统的亲信和重要助手，这主要是由于他在制宪运动中的杰出表现给华盛顿留下了极深的印象。他提出过许多重要的法案，其中一些通过生效，如税收法等。他在建立政府行政部门的过程中为华盛顿总统出谋划策。华盛顿的一些重要文件也出自他的手笔，如《就职演说》和《告别演说》。由于麦迪逊的卓越贡献和巨大影响，他在议会中实际上扮演着议长的角色。据此，甚至有些人认为麦迪逊在华盛顿政府中享有某些 特权 。但两人的这种蜜月关系未能持续很久。

1794年9月15日，四十三岁的麦迪逊与二十六岁的寡妇多莉·佩恩·托德在西弗吉尼亚杰斐逊县的海尔伍德举行了婚礼。1797年定居于蒙彼利埃。多莉是个俏丽活泼、体态丰腴的美人，她喜欢着丽服、戴珠宝、出入大雅之堂，举止优雅大方，待人诚恳热情，是社交界中的宠儿。她的个人魅力为麦迪逊的事业增色不少。鳏居的杰斐逊任总统期间，多莉还常常扮演白宫女主人的角色。麦迪逊当总统后，多莉的风采更是倾倒了整个华盛顿，人们认为：她是早期美国第一夫人中的佼佼者。

但是，汉密尔顿的联邦主义与杰斐逊的民主原则很快就发生了冲突，并导致激烈的党派之争。麦迪逊的政治观点原来就与杰斐逊相近，二人的私交也相当好，很快就成为坚定的政治盟友。他们反对汉密尔顿的财政计划，认为它会使大资产阶级拥有特权从而控制政府，危害州和人民的权利。他们还认为：共和政府应建立在人民的美德和农业经济之上，政府的统治应得到人民的同意。这种主张与汉密尔顿建立英国式政体的观点大相径庭，在此基础上形成了美国最初的两大政党 共和党和联邦党。麦迪逊成为共和党的实际组织者。

麦迪逊同情法国大革命，认为它是美国理想在整个世界的传播。他认为杰伊条约是对英国的屈从，反映了美国新政府的软弱无能，美国将为此付出巨大代价，并导致美法关系恶化。他主张应加快国内经济建设的步伐，使国家独立富强，在此基础上发展与各国平等的经济和政治关系。

约翰·亚当斯出任总统后，联邦政府表现出明显的党派性，麦迪逊遂退职回乡，专注于农耕和扩建房舍，尽享家庭生活的乐趣。当他闻知政府通过了四项摧残民权的法案时，认为共和原则和人民的民主权利受到了严重威胁，遂重回政坛。

1798年，他起草了《弗吉尼亚决议案》，抨击了《外侨法》和《惩治叛乱法》，指责亚当斯政府实行政治专横，违背了宪法的基本精神和民主原则。这一文件旨在保障公众的权利免遭联邦政府的侵害，麦迪逊既关注对州权的保护，同时又不是州权至上论者。在麦迪逊起草《弗吉尼亚决议案》的同时，杰斐逊起草了《肯塔基决议案》，反对联邦党人的倒行逆施。两位老朋友密切配合吹响了反击联邦党人 恐怖统治 的号角。

1799年，麦迪逊重返州议会，以实现他重建民主法治社会的构想。这一时期，他团结各州的民主力量，反对亚当斯政府摧残民权的政策，同时为杰斐逊当选总统运筹帷幄。

1801年杰斐逊出任总统后，把一批忠于共和原则且有能力的人充实进政府，其中麦迪逊被委以重任 出任国务卿，阿尔伯特·加勒廷被任命为财政部长。虽然他们个性迥异 杰斐逊是理想主义者，加勒廷是现实主义者，麦迪逊则是个中规中矩的实干家，但他们在工作中密切合作，形成了杰斐逊内阁的三驾马车。