父母对麦迪逊的教育颇为重视，再加上他身体虚弱，所以他的启蒙教育是由父母在家中进行的。十一岁时，父亲送他到名师唐纳德·罗伯逊的学校就读，主要学习数学、地理、文法和拉丁文等科目。罗伯逊先生的治学态度虽有几分刻板，但十分严谨，讲求实效，五年的学习生涯使得麦迪逊终生获益。16岁时，麦迪逊又拜托马斯·马丁牧师为师，在学习人文和自然科学的同时，他还认真研究了神学。1769年，他进入了普林斯顿的新泽西学院。在这里，麦迪逊读书、交友、娱乐，生活丰富多彩，充满情趣。他学习的范围十分广泛，涉猎过自然科学和社会科学的许多领域，尤其擅长演说，这为他后来从事政治活动提供了便利。他酷爱读书，经常手不释卷，特别喜欢读洛克、伏尔泰、孟德斯鸠等著名启蒙思想家的作品，深受启蒙思想的影响。他大学时代的几位密友大都才华横溢，抱负远大，后来成为美国独立和建国时期的风云人物，其中菲利浦·弗雷诺后来成为优秀的诗人；威廉·布雷德福在政治上初露头角早于麦迪逊，曾出任美国第2任司法部长。

在业余时间，麦迪逊喜欢散步、骑马、欣赏大自然的景色，也喜欢下棋。他还是一位出类拔萃的社会活动家，显示出天才的鼓动性和组织才能。他还养成了做事情有条不紊的习惯，看不起那些不遵守社会规则的人。有时也搞点恶作剧，但由于他一贯品学兼优，后来院长在回首往事时说，麦迪逊 从未做过或说过任何不妥的事 。由于学习勤奋，刻苦钻研，麦迪逊只读了两年大学就获得文学学士学位，提前毕业，并留校随院长约翰·威瑟斯庞进行神学和希伯来文法方面的研修。

1772年春，麦迪逊因病弃学返乡。父亲希望他承担起种植园的管理和经营工作，发展和扩大祖上留下的产业。但青年麦迪逊另有凌云壮志，他决心继续在法律和政治等领域进行研读，为将来在政治舞台上施展才华打下坚实的基础。

1774年，他取得了律师资格，但从未从事这一职业。

麦迪逊信仰圣公会的基本教义。他相信有救世主存在，但认为它并不干预宇宙和世界万物的正常运转，从这一点来看，他很接近于自然神论者。

麦迪逊身材不高，只有五英尺四英寸，身体单薄。仪表也谈不上英俊或威武，棕发碧眼黄面，鼻子有冻伤的痕迹。他衣着整洁考究，为人腼腆谨慎，还有点神经过敏，给人的第一印象并不佳。但与他相处稍久就会发现，麦迪逊具有坚韧的个性，深邃的洞察力和超人的智慧，他处事机敏灵活，但在大的原则上从未发生过动摇，这便是他日后成为一位深孚众望的政治领袖的最基本的素质和品格。

投身独立战争取得律师资格后，父亲再次动员他继承家业，肩负起管理种植园的责任，但他仍未接受。不久，他就投入了反抗英国殖民压迫的革命浪潮之中。

1774年，麦迪逊被选为奥兰治县安全委员会委员。独立战争爆发后，他立即参加了该县的民兵，被授予上校军衔，而他父亲则是该县民兵的负责人。

两年后，麦迪逊进入特权与选举委员会，鉴于他具有丰富的法学和政治学知识，他的主要工作是起草各种法律文书和一份重要的权利法案。同年又入选第一届弗吉尼亚议会，参加了起草州宪法的工作。在这次会议中，麦迪逊在法学方面的才华和爱国精神得到了初步展示。此时，他与刚从大陆会议载誉归来的杰斐逊相识，遂结下终生友谊。在州议会中，他通常支持杰斐逊提出的开明的议案。为了实现宗教信仰自由，他成了杰斐逊的弗吉尼亚《宗教自由法案》的最强有力的支持者。

1777年4月，麦迪逊竞选连任州议员失败，原因大概是他过于清高，不善于 逢迎讨好 选民。与他有姻亲关系的州长帕特里克·亨利此时帮了他一把，派他在州政会议任职。但他对这一机构十分厌恶，称它为 埋葬一切才能的坟墓 ，因为它试图侵犯行政权力。麦迪逊在该会议任职两年，与历任州长通力合作，在处理战时事务方面成绩卓著。在此过程中，他没有间断学业，仍博览群书并主攻法律。