最高法院“掌门人” 1801年初，马歇尔受命出任联邦最高法院首席法官。亚当斯之所以任命马歇尔主要基于两点考虑：第一，马歇尔是一位坚定的联邦主义者，具有很强的原则性；第二，马歇尔是弗吉尼亚人，最高法院中应该有这个重要的州的代表。事实证明，这是亚当斯总统所做出的最重要的决策之一，马歇尔对最高法院产生的影响是极其深远的。马歇尔扮演了最高法院“掌门人”的角色，以维护司法权的地位和尊严为己任。正是在马歇尔任内，最高法院确立了众多司法惯例，司法权的独立地位得以确立。

亚当斯总统卸任前大力扩充下级联邦司法机构，把许多联邦党人塞入政府部门。杰斐逊政府力图通过制定《撤销法》撤销这些机构。马歇尔认为这是对司法权的挑战，于是他便利用“马伯里诉麦迪逊案”来证明法院的权威。该案的内容是：被提名担任已经取消了法院职务的联邦党人要求法院下令，迫使国务卿麦迪逊颁布委任状。最高法院的裁决是：马伯里有权得到他的补偿，但判给他补偿不在最高法院的职权范围内。该判决使最高法院获得了极为重要的司法复审权。马歇尔强调法律对契约和财产的保护，从而限制了政府对个人经济事务的介入。马歇尔还使最高法院获得了判定各项法律是否违宪和审理下级法院的决议等重要权力。他所坚持的联邦权力高于州权的思想对后世具有深远的影响力。在杰斐逊总统第2任期间，伯尔叛国事件败露。在审判伯尔时，马歇尔主张对宪法关于叛国罪的定义从严进行解释，并亲任审判长，最终以“证据不足”为由使伯尔无罪开释。这是对杰斐逊政府的一次沉重打击。

由于马歇尔坚持他一贯主张的原则，敢于与联邦政府公开抗争，使他成为政府反对派人士心目中的英雄。马歇尔在最高法院任职一直到他离开人世，他与行政权之间，特别是与杰斐逊、麦迪逊等总统的相互斗争始终在持续着，并不时摩擦出火花。但有学者认为：正是这一矛盾斗争使得美国的政治体制日益充实完善，在充分发挥联邦政府职能作用的同时，有力地发挥司法权的限制和保护作用。

马歇尔的活动范围不仅仅限于司法领域，他在其他领域亦有所建树。他编写出版了《乔治·华盛顿生平》一书，在当时产生了轰动，但也有人指责他以歌颂华盛顿为名，宣扬联邦党人的观点。

1835年7月6日，七十九岁高龄的约翰·马歇尔在费城病逝——据说自由钟恰在此时破裂，好像在为一位重量级人物的去世表示哀悼。