安东尼奥在巴贝利尼宫殿的家庭全部由恶棍组成，“因渎神而声名狼藉，为其不道德和放荡而受到惩罚”，但是这位高级教士的保护可以使法律的武器无法惩罚公然的犯罪行为，那是在他的屋顶下或在罗马大街上由他的仆人或狐朋狗友做出的司空见惯的行为。这个世故的安东尼奥主教，被当时的人描述为具有冷酷的野心和自恋的傲慢，据传，他在私生活的丑闻上可与西皮奥内相媲美。但是在安东尼奥的身上，更难以建立起真相：他被文献的含糊所保护（迄今为止）。那些关于他的饶舌是否有真实成分呢？只要有烟雾的地方，就一定也有巴贝利尼宅邸的火吗？安东尼奥眼中的苹果之一为提埃罗·瓜尔蒂耶里（Gualtiero Gualtieri），一个具有较高社会地位的英俊年轻人（他的母亲是潘菲利家族的一员），他在安东尼奥的宫廷里服务。但是这种迷恋显然不完全是双方相互的，因为据当时的一位消息灵通人士的日记记录，瓜尔蒂耶里一次粗鲁地抱怨这位主教的强求说：“我让他整晚待在我的屁股上，好让他白天允许我自己待着。”

从那以后安东尼奥跟瓜尔蒂耶里很快就痛苦地闹翻了，这个红衣主教突然开除了这个年轻人。在为其魅力和天分寻找新的竞技场而漫游了一段时间之后，瓜尔蒂耶里最后死在了神圣罗马帝国旗帜下与信仰新教的瑞典人交战的战役中。然而很快开始传出一个流言，瓜尔蒂耶里的死并非战争引起的普通伤亡，而是安东尼奥红衣主教涉入了这个年轻人的死。此说法过于简单，以至于让人不能相信是他策划除掉了一个麻烦的现在已经敌对的前至交。对安东尼奥而言不幸的是，甚至瓜尔蒂耶里的舅舅，詹巴蒂斯塔·潘菲利（Giambattista Pamphilj）红衣主教也完全相信这个传言，当他1644年成为教皇因诺森特十世时，仍在心中保持着对于此事燃烧的怒火。我们将看到，在因诺森特当选之后不久，安东尼奥主教和他的哥哥弗朗西斯科和塔代奥就被迫逃到巴黎寻求安全，而不愿面对在罗马的法律指控（针对对教会国库犯下的财政腐败），相信教皇已决定要挫败他们。但是在因诺森特的脑海里，安东尼奥的罪行可不只是财政上的，这就是为什么3个兄弟中安东尼奥要被迫在外流放待得时间最长。