然而，主教的子孙们却似乎没有继承到多少他的世故练达。从此之后家族的财富就开始走下坡路了。败落的第一步是罗伯特教士的第二任妻子迈出的。她拆毁了城堡，拿走了地板、门板和壁炉架，在领地的另一处造了一座新豪宅，取名赫斯特姆塞克斯宅。教士的大儿子叫弗朗西斯·海尔奈勒，也就是我们的主人公奥古斯都的爷爷。他是个脸蛋漂亮、不务正业的家伙，冒失机灵、出手阔绰，好像时不时地就会背上一笔债务，不得不靠出售他在赫斯特姆塞克斯庄园的产业来还债。 丹佛郡伯爵夫人乔吉安娜对他青眼有加，把自己的表妹，圣亚萨主教乔那森·雪普里的女儿乔吉安娜介绍给了他。这一对人儿居然私奔了，他俩各自的家庭立即将他们“义愤填膺地逐出家门”。从此以后不论是圣亚萨主教还是温彻斯特教士都再也没有见到过他俩。他们跑到了国外，靠着伯爵夫人供给他们的一年两百英镑过活。两人生了四个儿子： 弗朗西斯、奥古斯都、朱里斯和马库斯。等到乔吉安娜·雪普里的丈夫弗朗西斯·海尔奈勒最终继承了父亲的财产后，他以六万英镑的价格卖掉了余下的祖传庄园。老弗朗西斯卒于1815年。他的大儿子弗朗西斯·海尔这时已不再拥有赫斯特姆塞克斯领地，因此放弃了奈勒的姓氏，继承了余下的家族产业，继续过着寻欢作乐的生活，直到他的财务状况迫使他移居欧洲大陆，就像很多那个年代的败家子一样。不过他手头显然还有钱烧，足够他一星期举办两次大型晚宴。他的圈子很上档次，其中德奥塞伯爵和布莱斯顿夫人、德萨特勋爵、布里斯特勋爵还有杜德利勋爵都算是他的密友。1828年他同银行家约翰·保罗爵士的女儿安妮成婚，并育有一个女儿和三个儿子。最小的儿子于1834年出生——他就是我们故事的主人公奥古斯都。

尽管赫斯特姆塞克斯庄园此时业已售出，海尔家族这时仍然保留着丰厚的圣禄。圣职的继承人是弗朗西斯·海尔奈勒的小儿子，罗伯特·海尔教士。当时普遍认为，他的职位将由弗朗西斯·海尔的三兄弟之一，奥古斯都·海尔教士来继任。关于三兄弟中最年轻的一位——马库斯，我所知甚少，只听说他娶了埃尔德利的斯坦利勋爵的女儿，在托基有一处“宅第”，在赫斯特姆塞克斯教长府下榻时抱怨茶水总是没煮沸，最后就是他卒于1845年。朱里斯是三一学院会员，学识渊博。他和他的兄弟奥古斯都曾合著过一本叫《试问真理》的著作，当时曾一度受到善男信女们的推崇。罗伯特·海尔教士去世后，他的侄儿奥古斯都·海尔教士不愿离开自己任职的奥尔顿·巴恩斯教区，便劝说弟弟朱里斯代替自己接受赫斯特姆塞克斯的圣职。朱里斯很不情愿离开剑桥大学，可强烈的责任感不允许他坐视一件如此珍贵的家产白白流失，最终同意作出牺牲。他最后当上了刘易斯教区的执事长。