纺织工人们很快就明白，无论是请愿，抑或暴力反抗，都不可能带来更高的工资。因为即使是一份报酬微薄的工作，都有那么多工人（也就是爱尔兰人）在等待着。1846年，土豆歉收导致爱尔兰发生一场饥荒。随后两年时间里，34万6千多爱尔兰人离开故土。他们当中的许多人来到相隔不远的英格兰和苏格兰。这些人极力要摆脱赤贫和饥馑的阴影。即使是邓弗姆林工厂里的一份薪水极为微薄的工作，也意味着可以改善他们的生活。本地人很乐意把罪名落在这些爱尔兰人身上，谴责这些很容易就找到的替罪羊。但是，对于手工织机的工人而言，还有工业革命这股更为强大的力量在抢夺他们的工作。安德鲁·卡内基对往昔生活作了精彩的回顾："我的父亲不承认这场日益迫近的革命，仍然在旧的体制下挣扎着。"1769年，詹姆斯·瓦特取得一种经过改进的蒸汽机的专利权；1783年，由蒸汽机驱动的织布机投入生产；1825年，提花机崭露头角。这种机器用很大的穿孔卡片编好图案，就能够像使用手工织机的工人一样编织出图案精美的织品，只有很少数的手工工人能够生产出可与之相媲美的产品。不管手工织机工人还能找到什么活计，威廉这样的人在所有的雇佣名单上都位列最末，因为他们的政治态度激进，又与苏格兰长老教会断绝了联系。从根本上说，身为宪章派的威廉在政治上坚决反对的对手恰恰是他所要倚赖的产品买家。

重新搬回穆迪街使安卓意识到，自己的家庭正在日渐潦倒："我记得，在搬家之后不久，我开始明白贫困意味着什么。艰苦的岁月来临了。父亲带着最后一批产品去找那些大制造商。我看到母亲正在焦急地等待着他的归来。她想知道究竟是得到了新的纺织品订单，还是将要面对失业的日子。"母亲努力尝试摆脱困境，她的薄薄的上嘴唇变得僵硬起来。她在自家屋子里开了一间小商店，在房前的窗口上摆卖卷心菜、韭菜、胡萝卜以及糖果。夜晚来临之后，她为自己的兄弟汤姆修理鞋子。现在，安卓不用再帮父亲照顾织布机了，而是帮母亲纫针。多年以前，玛格丽特的父亲曾写过一篇文章，论述掌握一门手艺以实现自立的重要性。"我如何才能最大限度地拥有健康、能力、冷静、独立，乃至他人的尊敬？"他这样写道，"所有这些事务以及其他各种快乐，我都要归功于一门手艺。上帝保佑，我在青年时代学会如何制作和修理鞋子。那些锥子是我的力量源泉，它们从未令我失望。"莫里森轻视人文学科的教育。在他看来，这种教育只能产生低能儿。当玛格丽特带着安卓一起钉鞋时，便会给他回忆这篇文章，强调实践和自力更生的重要性。他永远不会忘记这一课。

在这一时期，玛格丽特的意志要比她的丈夫更为顽强，因而取代威廉成为安卓心中的英雄。他把母亲视为如同神一样的人，并且永远不会改变这种印象。"对我而言，她是神圣的，但别人并不知道这一点，"他在自传中如此写道。这种偶像崇拜是无止境的，卡内基坦承自己难以用言辞充分表述对她的敬意。他总是竭力使母亲高兴，报答她，尊敬她。