令贝克福德感到无比生气的是，他常常找不着怀亚特的人，不是因为喝醉了酒，就是由于在为别的工程工作。正当方特希尔府的事态实际上快到不可收拾的地步，500名工人不是已经出逃，就是闲得发慌，等着指令的时候，怀亚特却在忙于一项大工程，为乔治三世在邱这个地方盖一座新的宫殿，这项工程后来流产了。为什么乔治三世想要在邱盖一座新的宫殿？这个问题提得有道理，因为他在那里已经有了一座很好的宫殿。但是，怀亚特一意孤行，设计了一座令人惊叹的大厦（外号叫做“巴士底狱”，因为它的样子令人望而生畏），这是世界上第一栋用铸铁作为建筑材料盖成的建筑物。我们不知道那座新宫殿是什么样子的，因为不存在同样的建筑物。但是，它肯定是相当壮观的，因为除了门和地板以外，全部都是用铸铁建造的。住在里面，很可能就像住在一口大锅里一样。不幸的是，正当大楼从泰晤士河畔拔地而起的时候，国王渐渐失明，对自己看不见的东西开始失去兴趣。反正他也从来不大喜欢怀亚特。因此，当工程进行到一半，已经耗资10万多英镑的时候，突然停工了。有大约20年时间，那栋房子一直是个没有完工的空壳子，最后新的国王乔治四世才下令把它拆了。

贝克福德不断怒气冲冲地给怀亚特写信，他在一封颇具代表性的信中责问道：“你这该死的老家伙到底藏在哪家低级酒店，哪家臭烘烘的客栈，哪家梅毒肆虐的妓院？”他喜欢把怀亚特叫做“甘蔗渣”，即男妓。每封信都是怒气冲冲，充斥着具有创造性的辱骂，怀亚特确实是个令人恼怒的人。有一次他离开方特希尔府去伦敦，表面上是为了急事，但他只走了3英里，来到贝克福德的另一处住宅。他在那里遇到了另一位酒量很大的客人。一个星期以后，贝克福德发现他们混在一起，喝得烂醉如泥，身边堆放着许多空酒瓶。