麦迪逊同情法国大革命，认为它是美国理想在整个世界的传播。他认为杰伊条约是对英国的屈从，反映了美国新政府的软弱无能，美国将为此付出巨大代价，并导致美法关系恶化。他主张应加快国内经济建设的步伐，使国家独立富强，在此基础上发展与各国平等的经济和政治关系。

约翰·亚当斯出任总统后，联邦政府表现出明显的党派性，麦迪逊遂退职回乡，专注于农耕和扩建房舍，尽享家庭生活的乐趣。当他闻知政府通过了四项摧残民权的法案时，认为共和原则和人民的民主权利受到了严重威胁，遂重回政坛。

1798年，他起草了《弗吉尼亚决议案》，抨击了《外侨法》和《惩治叛乱法》，指责亚当斯政府实行政治专横，违背了宪法的基本精神和民主原则。这一文件旨在保障公众的权利免遭联邦政府的侵害，麦迪逊既关注对州权的保护，同时又不是州权至上论者。在麦迪逊起草《弗吉尼亚决议案》的同时，杰斐逊起草了《肯塔基决议案》，反对联邦党人的倒行逆施。两位老朋友密切配合吹响了反击联邦党人“恐怖统治”的号角。

1799年，麦迪逊重返州议会，以实现他重建民主法治社会的构想。这一时期，他团结各州的民主力量，反对亚当斯政府摧残民权的政策，同时为杰斐逊当选总统运筹帷幄。

1801年杰斐逊出任总统后，把一批忠于共和原则且有能力的人充实进政府，其中麦迪逊被委以重任——出任国务卿，阿尔伯特·加勒廷被任命为财政部长。虽然他们个性迥异——杰斐逊是理想主义者，加勒廷是现实主义者，麦迪逊则是个中规中矩的实干家，但他们在工作中密切合作，形成了杰斐逊内阁的三驾马车。

在麦迪逊任国务卿期间，美国政府奉行孤立外交政策，大幅度精简了驻欧外交机构，尽力避免卷入欧洲的纷争。

1803年，美国用和平购买的方式获得了整个路易斯安纳，使美国的领土面积扩大了一倍，还设法解决北非海盗对美国商船劫掠的问题。

此时美国仍是一个弱小的新生国家，尚无力保护自己的海上航运，面对英法的海上侵扰，外交努力又常常不能奏效。为了维护美国的中立国地位，麦迪逊草拟了《禁运法案》，断绝与欧洲的贸易。但这项措施对美国经济造成了损害，效果也不显著。因此，当公众对该法普遍表示厌倦时，麦迪逊下令废止了这项法令。

杰斐逊总统在卸任前的最后几个月里处于半退休状态，把国家政务交给麦迪逊和加勒廷处理。

总统 在1808年大选中，杰斐逊总统推荐年富力强的麦迪逊为接班人。在做出了废除禁运的承诺之后，麦迪逊得到了绝大多数选民的支持，最终顺利当选。