对伊斯梅来说，这只是耻辱的开始，只要他活着，这些耻辱就会在他身上堆积如山。从他总经理。作为当时世界最大邮上救生艇的那一刻，他的名声就已经毁了。他没有做到一个男人该做的绅士，没有做到只要有一个妇女或者儿童死了，男人们就不能存活。除此之外，伊斯梅是这条航线的头儿，可是他却让救生艇严重不足的泰坦尼克号照常起航，明明知道船已驶入冰山区，他却让史密斯船长保持全速前进，种种这些都已经注定了他的命运。如果政府想要一个替罪羊，那么这就是盘子中现成的。

英国媒体显然不会对伊斯梅客气。约翰·布尔愤愤不平地说：“你是这次航海中获利最大的，你必须站在史密斯船长那边，直到每个男士、女士和小孩都安全下船。”《真相》评价说：“船上最卑微的人也比你更有道德权利上救生艇。这就是‘天意’啊，这个公司的头儿恰巧就站在了这最后一艘船旁边，或者这是最后一艘也是唯一的一艘？他跳进去的时候，也没有妇女或者孩子要求占有这个位置。”

与在美国相比，伊斯梅在英国受到的争议什么都算不上。他是第一个被叫去做美国调查的目击者。他回答问题时沾沾自喜和傲慢的方式对他的案子一点帮助都没有。第二天，伊斯梅就受到了美国媒体的嘲笑。《纽约美国》报道说：

伊斯梅谁也不关心，只关心他自己。他只在乎自己的身体，自己的欲望，自己的尊严和自己的利益。面对这样一个惊人的悲剧，他没有一丝触动和感伤。他抛弃了这艘船，抛弃了它承载的许多生命，可是他的眼睛连眨都不眨一下。对自己的存活，他在无法形容的耻辱中蠕动，在卡帕西亚号上，他与他冷漠的行为共享着船上最高级别的待遇。

在这份报纸的社论版面，画着伊斯梅的卡通像，在下沉的泰坦尼克号背景下，伊斯梅猥琐地蜷缩在救生艇里。文章叫“伊斯梅邪恶的桂冠”，副标题是“大家一致建议把白星航线的象征符号从‘白星’改为‘白肺’”。

在美国大街小巷，伊斯梅是贪婪、对生命冷漠的代表，他的行为直接导致了这场灾难。《丹佛帖子》把他看做“海上的本尼迪克特·阿诺德”，马萨诸塞州伍斯特大学的牧师斯蒂尔斯·布拉德利称他为“偷偷摸摸的懦夫”，拉斯维加斯的牧师贝克·李称他是“一个动物欲望吞噬了美好情感的人”。波士顿历史学家布鲁克·亚当在给出席史密斯调查委员会的参议员弗朗西斯·纽兰兹的信中总结了反伊斯梅的高涨情绪：

伊斯梅必须对救生船的供给不足负责，必须对船长的轻率负责，必须对船员的缺乏纪律性负责，必须对给予船长的错误指令负责，它导致了船长的轻率。面对所有的这些，他拯救了自己的性命，却把1500名男男女女抛之脑后。我从未在历史上见过如此胆小和残忍的人。他只有献出他的生命才能表明他的诚实和忠诚。

当时伊斯梅干扰5号救生艇的降落，泰坦尼克号的五号长官洛惩罚了他。为了纪念洛，伊斯梅的家乡——得克萨斯州想把名字换成“洛”。伊斯梅市和蒙大拿州也想换名字，但是市民们很难决定用哪个名字。他们不喜欢“阿斯特”这个名字，又认为“巴特”和“史密斯”这两个名字对于一个正在发展的城镇伊斯梅来说没有什么意义。