美国制定《联邦宪法》时，杰斐逊把它与法国大革命进行了对比，因此他的第一反应是反感和疑虑，担心这部“保守的宪法”会动摇美利坚民族的民主理想和共和国大厦的基石。他指出，总统可以连任的规定会产生“荷兰式的国王”（意即终生制）。所幸的是，美国政坛中的两派迅速弥合了分歧，决定制定《权利法案》作为宪法的补充。闻知此讯后，杰斐逊才转变了态度。

国务卿 杰斐逊原想卸任后即退隐蒙蒂赛洛，但华盛顿盛情邀请他出任首任国务卿之职。在纽约，他深刻感受到了政治腐败和官僚主义气息，惊异地发现，许多上层人士竟主张建立英国式的政体。他对华盛顿讲究礼节和尊严的贵族派头也表现出极大反感。

上任伊始，杰斐逊受到总统的极大信赖，工作成效十分显著。他组建了国务院，不仅主持外交工作，而且还分管许多国内事务，如管理领地、保管国家文献、与联邦法院联系、掌管国玺、普查人口、铸币等。可以说，美国的外交工作是在杰斐逊的谋划和指导下起步的。那时国务院的规模很小，只有七个半工作人员，办公室设在百老汇的一间不大的房间里，办公经费也少得可怜，所以杰斐逊的工作比较忙碌，许多事情都要事必躬亲。这似乎成了一种传统，一直延续到林肯时代。但纵观此时期的国务卿，大都是出类拔萃之辈，其中有六个人后来当上了总统。

这时期，杰斐逊与财政部长亚历山大·汉密尔顿的关系还算融洽，甚至两人搞过一笔“交易”：汉密尔顿的财政政策的要点之一是由联邦偿还州债，但在众议院受到了阻滞，于是求助于威望极高的杰斐逊。杰斐逊在未了解详情的情况下应允了，但提出了一个交换条件：汉密尔顿必须支持他的迁都计划（即把首都迁至弗吉尼亚的乔治敦）。最终，双方皆大欢喜。

杰斐逊主张迁都还有其更深层的设想：把首都从一座已经定型的、人口混杂的、具有市侩气的城市迁出，重新设计建造一座新城，以体现美利坚民族的精神风貌和美好未来。

在外交方面，起初杰斐逊与汉密尔顿的矛盾并不大，他们都赞同美国在外交方面实行中立化原则，只是在实施的具体方式上有不同的主张。

但是，因为杰斐逊与汉密尔顿在政治原则和国内外一系列重大问题上的观点截然不同，所以不久就分道扬镳了。汉密尔顿是个贵族政治论者，十分崇尚英国的政治体制，主张在美国实行君主立宪制；而杰斐逊则一向大力倡导民主政治，对君主制和世袭制抱厌恶的态度，反对等级特权。汉密尔顿奉行偿还公债政策，主张加强对英贸易，以维护大资产阶级的利益；杰斐逊则热爱土地和在土地上劳动的人民，要求国家保护农业利益，反对汉密尔顿的财政方案，主张广泛发展与各国的经济交往，改变严重依赖英国的殖民地经济。汉密尔顿厌恶法国革命，主张实行亲英外交；杰斐逊同情法国革命，但他从美国的实际利益出发，支持华盛顿的中立政策，以避免卷入欧洲的纷争。二人在诸多问题上产生的分歧和冲突，使华盛顿政府不时出现危机，并促进了党派精神的萌发，即使是华盛顿的权威和声望，也未能阻止政党政治的迅猛发展。