作为第二代纺织工，卡内基爷爷陪伴着他的父亲詹姆斯去邓弗姆林和爱丁堡出售自家生产的亚麻布。有一次，在家乡附近的海滨城镇莱姆基尔斯，他迷恋上一位顾客的女儿伊丽莎白·汤姆。他们产生了真挚的爱情，却也遇到一个巨大的障碍：伊丽莎白富有的父亲，一位船主兼船长。他不想让自己的宝贝女儿嫁给一个"没什么飞黄腾达迹象"的乡村织布工（在这一点上，卡内基爷爷和与自己同名的安卓截然不同。安卓将证明自己是一个慷慨大方的资本家）。尽管老朽的船长扣下女儿的嫁妆，伊丽莎白和安德鲁仍然为爱情而结合到一起，最终生育了10个子女。

威廉是安德鲁和伊丽莎白的第七个孩子，生于1804年6月19日。他将是未来世界上最惟利是图的钢铁大王的父亲。这个长着浅黄色头发、蓝眼睛、皮肤白皙的男孩成长为一名第三代纺织工，最后专门从事锦缎的纺织。这种工艺使用那些有光泽的织物，如棉纱、亚麻和丝绸，并在光滑的编织物上编织出精细的扁平图案。威廉用双脚踩动踏板，两手灵巧地左右移动飞梭，便可以生产出异常精美的桌布。当时，帕蒂姆伊尔以北两英里的邓弗姆林是锦缎的交易中心。威廉明白自己在帕蒂姆伊尔不会赚到多少钱，于是，大约在1830年左右，他前往邓弗姆林定居。随后，他的父亲也把家迁过来。从一个小村落搬到一个有上万人口的大市镇在当时是一个非常勇敢的举动。威廉正值少年，满怀着雄心壮志。

邓弗姆林的房子都是用灰色砂岩建成，因而被人们亲切地称为"灰色老镇"。这个表面上阴沉沉的小镇却蕴含着某种浪漫气息。它渗透在居民们的精神之中，其中包括安卓本人。小镇坐落于一片高地之上，俯瞰狭长的弗斯湾，海湾的远方则是彭特兰山的黑色轮廓。邓弗姆林曾经是苏格兰的首都。按照小镇上的历史学家埃比尼泽·亨德森的说法，这里曾经拥有丰富的文化传统和物质财富。在14世纪初叶，"就建筑规模和内部装饰而言，苏格兰没有什么地方的修道院和教堂建筑可以与邓弗姆林相媲美"。罗伯特国王在1329年逝世，随后被埋葬在这里的修道院中央，周围环绕着苏格兰历代国王和王后的坟墓，其中包括苏格兰的守护神玛格丽特女王。15世纪中期，苏格兰的首都迁移至爱丁堡。这是一处更为关键的军事要地，建有宏伟的要塞，足以捍卫王室的安全。当威廉·卡内基迁往邓弗姆林时，昔日壮丽的寺庙和宫殿早已化作一片残垣断壁。但是，废墟之间却依然露出一丝往日的辉煌。威廉·华莱士和罗伯特国王的高贵幽灵依然游荡在小镇的街头。

在穆迪街和普莱俄瑞巷结合处有一幢可以两家合住的房屋。威廉将其中一半租下，所支付的年租金在15英镑到20英镑之间。他在底层大间架起织布机。不过，房间的面积仅有8×6步，因而只能把睡觉的地方安排到逼仄的阁楼上。他与别家房客共用楼梯，以及屋后那间公共厕所。虽然汤姆船长对威廉的父亲不屑一顾，但是，使用手摇纺织机编织锦缎的纺织工在邓弗姆林却被视为劳动阶层中的贵族。他们的收入较高，与佃农、煤矿矿工和工厂工人的悲惨境遇形成鲜明的对比--那些人只能得到少得无法糊口的工资。