13岁那年，怀着对美国的向往，卡内基和家人来到美国东海岸的纽约港，后又辗转来到匹兹堡。移民的生活是非常清苦的，小卡内基白天做童工，晚上读夜校，十分辛苦。

14岁那年，他来到匹兹堡的大卫电报公司做信差。虽然他当时对于路一点都不熟悉，但却向公司许下诺言，说自己一个星期就可以记熟全城的线路。公司的经理被卡内基的毅力感动，留下了他。而卡内基也实现了自己的诺言，成为了公司的熟练工。

当年的匹兹堡不仅是美国的交通枢纽，而且是物资集散中心和工业中心。电报作为先进的通讯工具，在这座实业家云集的城市起着极其重要的作用。每天走街串巷送电报的卡内基就像进了一所“商业学校”。他熟悉每一家公司的名称和特点，了解各公司间的经济关系及业务往来。

日积月累之中，他熟读了这无形的“商业百科全书”，这使他在日后的事业中获益匪浅。因此，卡内基在回顾自己的从商生涯时，把这一段时期称之为“爬上人生阶梯的第一步”。

1853年，宾夕法尼亚州铁路公司西部管区主任斯考特看中了有高超的电报技术的卡内基，聘他去当电报员兼秘书，每月薪水35美元。当时卡内基已是18岁的大小伙了，他怀着强烈的上进心走进了这个更为广阔的世界。

在宾夕法尼亚铁路公司的10余年中，卡内基凭着自己的勤奋和机灵，24岁就升任该公司西部管区主任，年薪1500美元，并逐步掌握了现代化大企业的管理技巧。这种技巧是他后来组织庞大的钢铁企业时所必不可少的。

与此同时，卡内基也抓住时机，初试牛刀，参与投资，而且频频得手，渐渐小有资财，这为他以后开办钢铁企业奠定了经济基础。

1865年4月，南北战争结束了，战后重建出现了大量的机会。29岁的卡内基这时已经算小有成就了，但是他不满足，向宾州铁路公司提出了辞呈。

辞职后的卡内基把分散的资金聚集在一起，把以前自己入股的两家公司合并，成立了联合制铁公司。当时，美国的钢铁生产经营极为分散，从采矿、炼铁到最终制成铁轨、铁板等成品，中间需经过许多厂家。加上中间商在每个产销环节层层加码，致使最终产品的成本很高。卡内基深知传统钢铁企业的这些弊病，他决心建立一个面目全新的、囊括整个生产过程的供、产、销一体化的现代钢铁公司。

随着1873年经济大恐慌，愈来愈多的人都遭到了破产的厄运，当初的合伙人柯路曼兄弟，还有弟弟的岳父，这些元老级人物都不得不把自己的股份卖给卡内基。1890年，卡内基将公司名称变为卡内基钢铁公司，资金增长到2500万美元，他持公司半数以上股份。

虽然当时有人称他为“卑劣的卡内基”，但不能否认的是卡内基对钢铁行业做出的贡献和他独特的眼光。当他迈出进军钢铁业的第一步，就开始大胆引进最先进的生产技术和人才，大刀阔斧改进生产管理，不断地改进钢铁生产技术，降低成本，使自己一次一次走向成功。

到了19世纪末20世纪初，卡内基钢铁公司已成为世界上最大的钢铁企业。它拥有2万多名员工以及世界上最先进的设备，它的年产量超过了英国全国的钢铁产量，它的年收益额达4000万美元。