1825年3月4日，小亚当斯就任美国第6任总统。选举过程的艰辛和胜利的来之不易使他不敢有丝毫的不满和轻松懈怠。他在就职演说中极力呼吁宽容和谅解。

小亚当斯总统主张对宪法条文进行更广义的解释，扩大联邦政府的权力，以推进大规模的国内改良。例如，由政府部门有秩序地处理国有土地；征收高关税，以保护国内工商业的发展；由联邦负责人保护印第安人土地，使之免遭掠夺；由联邦政府采取措施，大力发展交通运输业，加快铁路、公路和运河的建设项目；政府还应承担起发展科学教育事业的重任，包括创办国立大学、天文台和资助科学研究和探险等。此时期，小亚当斯对于扩大联邦政府的权力十分关注，从而成为“新国家主义”的先驱。

但在小亚当斯那个时代，人们对民主的一般理解是要求政府少所作为，加之南方各州担心他推行的国内改良计划会冲击奴隶制度，北方的许多人士对于他“广义地”解释宪法忧心忡忡，因此，他的主张带有超前色彩。由于没有在国内得到广泛的支持，致使他的计划大部分落空，只是在发展交通运输业方面有所收获。

在外交领域，他做的也不如任国务卿时出色，一些外交努力由于反对派的抵制而流产。例如，1826年，他支持美国参加巴拿马会议，目的是通过支持拉丁美洲各国之间的合作，增强美国对这一地区的影响力。但由于南方代表在议会中的阻挠拖延，他的这一设想未能实现。对此，小亚当斯感到非常痛心，认为这是对他所倡导的“门罗主义”的一次沉重打击。

所有这些都束缚住了他的手脚，使他的总统任期没有多少建树。在1828年总统竞选中，主要对手杰克逊又大肆渲染“肮脏的交易”，使他遭到惨败。他在日记中写道：“我的政治生命犹如天边落日，即将沉沦，但我们国家的前景仍旧是一片光明。”

联邦众议员 卸任后，小亚当斯的情绪十分低落，因此未出席继任总统的就职仪式，不久便返回了家乡，试图在书斋和田园之中寻求解脱。此时他得知，他的长子在一次海上事故中不幸身亡，这使他的身心受到了致命的打击。虽然他对政治生活早已心灰意冷，但马萨诸塞的人们仍对他寄予厚望，1830年选举他为国会众议员，这使他成为唯一一位卸任后进入国会的前任总统。

在国会中，他如同当年一样以独立人士自居，不愿为党派政治所左右，始终不渝地维护其国家主义原则，反对州权主义。他厌恶奴隶制，曾为逃亡奴隶辩护，认为奴隶制违背人性和国家利益，但在这一问题上持温和立场，主张缓和南北双方在奴隶制问题上的剧烈冲突。他还反对对周边国家的肆意侵略，例如，他反对吞并得克萨斯，并联合一批众议员使吞并计划推迟了数年。他还坚定地支持保留国家银行。

1839年，他支持通过一项议案，规定1845年以后出生的美国人不得为奴隶。但当时国会中的“限制言论条例”阻碍了这一议案的通过。为了取消这一条例，小亚当斯据理力争，收集了大量证据。1844年，他终于促使国会废除了这一条例，为美国反对黑奴制度的斗争作出了贡献。1846年，他还投票反对向墨西哥宣战——有人认为，促使他这样做的主要是他的废奴主义情结。

小亚当斯还敦促有关部门接受了英国科学家詹姆斯·史密森的遗赠，用他的遗产创建了史密森学会，以支持科学事业的发展。1843年，辛辛那提天文台举行奠基仪式，小亚当斯不顾旅途艰辛，长途跋涉赶来参加盛会，因为这是他总统任内未能如愿的一项工程。

担任议员十七年的所作所为，使人们更加深刻地认识了这位杰出的政治家，人们幽默地称呼他为“雄辩的老人”。

自从1781年进入外交界，小亚当斯从事公共事务长达六十五年，从不懈怠。1848年2月21日，他在国会中发言，就反对侵墨战争之事阐述自己的观点，发言后不久就中风了，两天后去世，享年八十岁。临终时他说道：“死得其所，我愿足矣！”

1848年2月26日，全体众议员参加了他的葬礼。四年后，他与夫人合葬在昆西公理会教堂他父母的身旁。