珍·杰斐逊出身于一个贵族家庭，她丈夫在世时经常外出，而在其外出期间，特可侯和沙德维尔都交由她一人管理。1770年沙德维尔被烧毁后，珍·杰斐逊并没有举家搬迁、一走了之，而是努力重建家园，她的坚毅可见一斑。蒙蒂塞洛之所以能够成为儿子托马斯·杰斐逊的庄园，在某种意义上应当归功于她，因为这位伟大的女性总是能够按照期望将现实生活安排得妥妥当当。

77岁时，托马斯·杰斐逊开始着手撰写自己的传记，只在描述父亲时提及母亲。有关父亲彼得·杰斐逊，托马斯是这样描述的：“父亲出生于1708年2月29日，1739年与艾夏姆·伦道夫的女儿、19岁的珍·伦道夫通婚。伦道夫家族定居在古奇兰县的丹吉内斯，艾夏姆·伦道夫是伦道夫家族个儿子中的一个。”然后，他描述了作为测量员和绘图员的父亲。托马斯写道：“父亲于1757年8月17日去世。我的母亲寡居至1776年离世。他们养育了6个女儿和2个儿子，我是长子。”

在母亲离世数月后，杰斐逊在写给英国伦道夫亲戚的一封信件里简短地谈到母亲，并记录了他付款请牧师操办母亲的葬礼。除此之外，现存的托马斯的其他记述中，再也没有谈及自己的母亲。

1770年沙德维尔遭受的大火让母子二人来往的信件都化为灰烬，而两人后来的信件显然都被杰斐逊自己销毁了。一代又一代的传记作家猜测杰斐逊和母亲之间存在嫌隙。但杰斐逊母亲寡居的19年中，杰斐逊大部分时间住在离母亲不远的地方，因为那时候他已长大成人。杰斐逊夫人一直活到1776年，那一年托马斯·杰斐逊33岁，正在起草《独立宣言》。杰斐逊在沙德维尔居住期间曾离家求学,进行初期的法律实践。由此不难理解为何大学毕业后，已是年轻律师的托马斯称他所居住的房子为“我母亲的家”，这说明他们之间没有疏离，甚至没有嫌隙。直到1770年11月，托马斯才搬到了他建筑在小山丘上的蒙蒂塞洛庄园，因为那时在遭受火灾的沙德维尔庄园内，已经不能正常生活了。重建后的沙德维尔庄园比最初的小了很多。

杰斐逊在任何场合都喜欢有女性的陪伴。在兄弟姐妹中，和他关系最亲密的是大姐，名字也叫珍。珍出生于1740年，是彼得和珍的第一个孩子。据说，小珍是弟弟“家里亲密的忠实伙伴，是知晓他所有年轻的心事的心腹好友”。

他们喜爱在树林中消磨时光，同样也都热爱音乐。珍为他演唱赞美诗，他们还一起合唱圣歌。“多少个夜晚，在家里的火炉旁；多少个轻柔的夏夜，在里瓦纳河畔，都能听到他们的歌声，伴着他的提琴独奏，歌声缓缓飘向远方。”他给予姐姐最高的评价是：“我将永远视她为知己。”

托马斯9岁时被送去跟随威廉·道格拉斯牧师学习古典文化和法语。威廉·道格拉斯是古奇兰县特可侯附近圣·詹姆斯·诺瑟姆教区的教区长。在年的时光里，托马斯都和道格拉斯在一起，只有夏季除外。早熟的托马斯后来回忆道格拉斯“是个肤浅的拉丁语学家，对希腊文没有什么造诣。除了教我关于这些语言的浅显入门知识外，道格拉斯还教我学习法语”。