联邦政府建立后，马歇尔的观点与联邦党人十分相近，支持亚历山大·汉密尔顿的一揽子经济计划。但由于个人财务等问题，他没有接受政府对他的一些重要任命。约翰·亚当斯总统任内，美法矛盾尖锐，亚当斯总统派马歇尔参加一个赴法使团，试图解决两国分歧。马歇尔接受了任命。但督政府外交部长塔列朗没有与使团见面，而是派来几个说客羞辱性地诱使美国人向法国行贿，而后才能进行谈判。美国人拒绝了（但也有史学家通过研究认为，如果当时法国人同意谈判期间停止在海上捕获美国船只，美国人是同意行贿的）。马歇尔以高傲的姿态回绝了法国人的索贿要求，然后愤而离境，其正义言行得到了国人的交口称赞。

1799年，在帕特里克·亨利的大力支持下，马歇尔当选为国会议员。在国会中，他是亚当斯总统最坚定的支持者之一，虽然他此时的某些主张与联邦党人不尽相同。

出任国务卿1800年6月，在友人的再三劝说之下，马歇尔终于接受了亚当斯总统的任命，出任美国国务卿一职。此时，美法关系不断恶化，法国私掠船不断在公海上掠夺美国商船，以汉密尔顿为首的新英格兰联邦党人主张对法宣战。马歇尔虽然具有亲英倾向，但支持亚当斯总统继续执行中立政策，设法通过外交途径解决争端。1800年9月，美国派出新的外交使团赴法谈判，签订了和约，宣布废除1778年美法同盟条约，重申公海自由的原则，从而结束了一场一触即发的战争危机。这一条约是美国孤立主义外交的体现，使美国远离了欧洲的纷争，但它却造成了联邦党内部严重的分裂。马歇尔还促成了与西班牙等欧洲国家的谈判，以稳定美国的对外贸易。这一条约也表明了法国对美国政策的转变，即不再试图控制美国，或利用美国对抗英国。

最高法院 掌门人 1801年初，马歇尔受命出任联邦最高法院首席法官。亚当斯之所以任命马歇尔主要基于两点考虑：第一，马歇尔是一位坚定的联邦主义者，具有很强的原则性；第二，马歇尔是弗吉尼亚人，最高法院中应该有这个重要的州的代表。事实证明，这是亚当斯总统所做出的最重要的决策之一，马歇尔对最高法院产生的影响是极其深远的。马歇尔扮演了最高法院 掌门人 的角色，以维护司法权的地位和尊严为己任。正是在马歇尔任内，最高法院确立了众多司法惯例，司法权的独立地位得以确立。

亚当斯总统卸任前大力扩充下级联邦司法机构，把许多联邦党人塞入政府部门。杰斐逊政府力图通过制定《撤销法》撤销这些机构。马歇尔认为这是对司法权的挑战，于是他便利用 马伯里诉麦迪逊案 来证明法院的权威。该案的内容是：被提名担任已经取消了法院职务的联邦党人要求法院下令，迫使国务卿麦迪逊颁布委任状。最高法院的裁决是：马伯里有权得到他的补偿，但判给他补偿不在最高法院的职权范围内。该判决使最高法院获得了极为重要的司法复审权。马歇尔强调法律对契约和财产的保护，从而限制了政府对个人经济事务的介入。马歇尔还使最高法院获得了判定各项法律是否违宪和审理下级法院的决议等重要权力。他所坚持的联邦权力高于州权的思想对后世具有深远的影响力。在杰斐逊总统第2任期间，伯尔叛国事件败露。在审判伯尔时，马歇尔主张对宪法关于叛国罪的定义从严进行解释，并亲任审判长，最终以 证据不足 为由使伯尔无罪开释。这是对杰斐逊政府的一次沉重打击。

由于马歇尔坚持他一贯主张的原则，敢于与联邦政府公开抗争，使他成为政府反对派人士心目中的英雄。马歇尔在最高法院任职一直到他离开人世，他与行政权之间，特别是与杰斐逊、麦迪逊等总统的相互斗争始终在持续着，并不时摩擦出火花。但有学者认为：正是这一矛盾斗争使得美国的政治体制日益充实完善，在充分发挥联邦政府职能作用的同时，有力地发挥司法权的限制和保护作用。

马歇尔的活动范围不仅仅限于司法领域，他在其他领域亦有所建树。他编写出版了《乔治·华盛顿生平》一书，在当时产生了轰动，但也有人指责他以歌颂华盛顿为名，宣扬联邦党人的观点。

1835年7月6日，七十九岁高龄的约翰·马歇尔在费城病逝 据说自由钟恰在此时破裂，好像在为一位重量级人物的去世表示哀悼。