晚年的皮尔庞特变得忧愁乖僻，相信命运。他认为公众误解了他，对于责难其信托公司的轩然大波感到气愤。他眼露凶光，对记者挥舞着拐杖以示威胁。公众对他的事情怀有好奇心也是合情合理，而他却不能容忍。

皮尔庞特是孤独的，而名望很可能又加深了他的孤立。他的第一个传记作者卡尔?霍维写道：“据说在金融区能同摩根搭得上话的熟人还不到50个。”皮尔庞特在生意上交际广泛，但没有几个同僚跟他有深交。因此，他就依赖家人获得感情支持。正因为如此，他和小女儿安妮?特雷西的矛盾尤其使他受不了。安妮比杰克小6岁。皮尔庞特?摩根可以征服世界，但征服不了他的女儿安妮。她生性活泼，精神饱满，喜欢高尔夫和网球，反抗常规的养育。在皮尔庞特的所有孩子中，安妮在气质上最像她父亲：她聪明、坚定、专横，而又极为固执己见。据后来成为社会名流哈里?莱尔妻子的伊丽莎白?德雷克塞尔回忆，安妮是一位“身材修长，长着小精灵似的脸蛋，两眼炯炯有神”的姑娘。但“性格和意志如同〔皮尔庞特的〕一样倔犟，她爱指责哥哥姐姐的习惯，使人感到很难堪。”3一次，在皮尔庞特密友们的宴会上，她父亲看着桌面，问她长大以后想干什么。她立即答道：“不管什么，只要比富裕的傻瓜强就行。”尽管她爱这样嘲弄人，但她还是跟父亲很亲近，常常陪父亲乘坐海盗三号去欧洲。一次她作为主人，招待了乘坐游艇的德国国王。

到20世纪早期，安妮已30出头，是一位年轻高个女郎了：短发、高鼻、黑眉，有一对父亲那样锐利的眼睛。她既有领导才能，又有孩童的单纯，她憎恶嘲弄她父亲鼻子的漫画家。她个子高，长相富态，穿着时髦。1903年，戴西?哈里曼，这位华盛顿著名的女主人邀请她作为殖民地俱乐部的一个创始人。这是美国第一家女性俱乐部，是模仿一家英国绅士俱乐部成立的。在三十街和麦迪逊大街交接处，坐落着这个俱乐部，由斯坦福?怀特设计，里面有大理石砌的游泳池和土耳其浴室，男人是不准上二层的。皮尔庞特不赞成这一项目，在一次讲话中他对妇女们说道：“女人最好、最安全的俱乐部是她自己的家。”5可以预料的是，多萝西?惠特尼也是早期的一位成员。

在俱乐部成立期间，安妮遇到了两个将改变她生活的年长妇女。一个是贝西?马伯里，她身体健壮，男人气十足，是肖伯纳和王尔德的舞台代理人；另一个是埃尔西?德?沃尔夫，她以前是个交际花，又是演员，现在是著名装潢设计师，为殖民地俱乐部搞设计。1908年，35岁的安妮与这两名妇女住进了位于凡尔赛的特里亚农别墅，组成了“三人家庭”。规规正正的花园，修剪整齐的树篱和草坪，使得特里亚农别墅这一贵族式的场所和这种大胆的行径很不协调。德?沃尔夫设计了一个梳妆室，正符合安妮的矛盾性格，正规的壁炉台上装饰着法国的一个半身塑像和一块豹皮绒毯。

女儿的疏远伤了皮尔庞特的心。安妮的一个朋友告诉克拉伦斯?巴伦说：“她决定与父亲分开时，皮尔庞特的心都碎了。”我们已经看到，皮尔庞特被激怒后，很难消气。他责备贝西?马伯里偷走了他的女儿。因此，他设下一条妙计折磨马伯里。马伯里一心想成为法国荣誉社团的成员，并认为她应该得到此项荣誉，因为她曾在一个说英语的国度里以官方身份代表法国的剧作家。事有凑巧，1909年，罗伯特?培根——华尔街的前希腊神——被任命为驻法大使，他秉承皮尔庞特的旨意，确保马伯里不能如愿以偿。法国知道是摩根银行从中作梗，就没有授予贝西?马伯里这一政府奖励。即使她多年为法国筹资，并在第一次世界大战时拿出她在凡尔赛的住宅作为医院也未能如愿。德?沃尔夫赢得了法国的十字军章，安妮成为荣誉社团的领袖，因为她组织了一个野战救护队，进行救护。对马伯里来说，尽管前总统罗斯福和塔夫脱给她发来了赞扬信，但她无法战胜法国怕伤害摩根利益的恐惧心理。即便摩根躺在坟墓里，他的意志也不能被违背。