安德鲁斯被新型煤油的特性吸引。作为照明材料专家，他认为这种煤油将比其他照明材料更有效，也更具市场前景。此时，安德鲁斯的经济状况非常糟糕，甚至得靠妻子替人缝补衣服来贴补家用。尽管如此，他还是在1862年决定离开迪安，自己创业。为了寻找资助，他多次拜访克拉克和洛克菲勒。洛克菲勒在伊利街浸信会教堂与安德鲁斯夫妇结识，这大概也可以算是宗教给他的世俗生活带来的一项好处。在克拉克的办公室，安德鲁斯刚一谈起石油，便被心存疑虑的主人回绝了。碰了钉子的安德鲁斯走进洛克菲勒的办公室，把自己的想法说了一遍。洛克菲勒首次投资铁路股票便大赚一把，手头正好有钱，因而对他的想法很有些兴趣。与洛克菲勒谈完之后，安德鲁斯又去找克拉克。“我刚想让他闭嘴，”克拉克回忆道，“他却说：‘洛克菲勒先生觉得这主意不错。’我随口答道：‘那好，只要约翰干，我就干！’”洛克菲勒在后来自谦地表示，自己当时所起的作用没有那么重要。他很怀疑石油业的前途，倒是克拉克的兄弟詹姆斯和理查德对此事颇为热心。正是在克拉克3兄弟和安德鲁斯的联合劝说下，他才决定介入这一行当。

不管当时的情况是怎么回事，洛克菲勒和克拉克最后同意投资4000美元作为安德鲁斯－克拉克公司的一半启动资金。年仅24岁的洛克菲勒在1863年被卷入石油业。后来在谈到这笔4000美元的投资时，他淡淡地说：“对我们而言，那可是很大一笔钱，非常大的一笔钱！”他们不曾料到石油竟然会取代公司主营的农产品贸易业务，认为那“只不过是一个副业，我们还是要好好当农产品委托销售商”。

对炼油厂厂址的选择很能反映洛克菲勒的深谋远虑。他选中的那块3英亩土地位于金斯伯里河边。这条小河流入凯霍加河，与伊利湖联通。这里距离克利夫兰市中心足有1.5英里，一派田园风光，牛儿安详地吃草，小河边绿树成荫，乍看上去似乎不适于兴建被命名为“埃克塞尔西奥”的新炼油厂。洛克菲勒却认为，陆路交通状况很快就会因为铁路的通车而得到改善失。1863年11月3日，大西洋－大西部铁路公司的一台火车头隆隆驶入克利夫兰的一个车站，标志着克利夫兰与纽约之间被伊利铁路连接起来，也使宾西法尼亚油田拥有了宝贵的外运通道。既然新工厂拥有便捷的水陆交通，洛克菲勒就获得了运输成本的优势。这也正是他一辈子都为选择厂址而费尽心思的原因所在。

没过多久，金斯伯里河沿岸冒出许多炼油厂。建一间小炼油厂，再找几个雇员，这些用不了多少钱，甚至1000美元就够了，比开一家有点儿规模的杂货店所需的资金还少。到1863年年中，克利夫兰一带有20家炼油厂，生产的煤油有四分之一销往国外。由于利润来得又多又快，经营者无论精明鲁钝，都能赚上一笔。在南北战争期间，石油显示出非常广泛的用途，甚至被联邦军队的士兵用来代替原先由南方供应的松节油疗伤。煤油的使用很快得到普及，尤利塞斯?S·格兰特将军就经常坐在煤油灯下起草作战命令。

洛克菲勒后来与安德鲁斯反目成仇，因而有失偏颇地说此人在标准石油公司历史上不过是一个无足轻重的角色。洛克菲勒这样评论道：“塞缪尔?安德鲁斯在刚入行时只是一个工人，可谓一无所有！之所以让他来提炼石油，只不过是因为当时很难找到合适的人选……这个家伙太自负，满脑子英国人的愚蠢固执，缺乏自制力。这些就是他的最大问题！”两人之间一定出现许多麻烦，否则，洛克菲勒不会如此贬低安德鲁斯。在合作初期，他们的关系很是融洽，对营销一窍不通的安德鲁斯很乐意让克拉克和洛克菲勒负责办公室的那些事情，自己专心负责技术方面的事情。

早年的洛克菲勒对炼油方面的具体事务过问比较多。他在清晨6点30分便会走进金斯伯里河畔的箍桶车间。他没什么架子，常常亲自动手把油桶一个个推出来，码放桶箍，或是用手推车把刨花拉走。石油在提炼完毕之后会残留些硫酸，洛克菲勒打算用它们来生产化肥，而这是他第一次想到用废弃物生产有盈利空间的副产品。儿时生活环境的不安定使他总是想自力更生，因此，在遇到油桶短缺问题时，他决定自己找人生产。还有一次，他发现一个管子工的费用单上有一处可疑的错误，便对安德鲁斯说：“在月底之前再雇一个管子工。这一回咱们自己买管子、接口和其他管道材料。”这就是洛克菲勒的过人之处，总是在不懈地寻找着哪怕是最细微的改进环节。只用不到1年时间，炼油厂的生意就赶超农产品生意，成为公司最赚钱的业务。石油业在发展过程中曾多次出现剧烈波动，洛克菲勒的企业却从没有在哪一年遇到亏损。

如果说洛克菲勒在最初对加入石油业还有所顾忌，那么，他很快就发现这是一个可以使他展翅高飞的绝佳行当。做事从不半途而废的他决心完全投身这个行业。夜深人静时，他会忍不住把威廉推醒。“我正在考虑一个××计划，”他会这样问弟弟，“你觉得怎么样？”“明早再说，”睡意朦胧的威廉抗议道，“我想睡觉！”在黎明时分，约翰经常与克拉克和安德鲁斯聚在切舍尔大街的家中进行商讨，商讨的内容完全是石油。玛丽·安注意到，尽管哥哥比两个同事年幼，却能让对方言听计从。她回忆道：“他们好像离不开他……约翰正吃着早饭的时候，他们就会跑到餐桌前找他。”

在竞争对手的回忆录里，洛克菲勒有如一个无处不在的妖魔，在德雷克发现石油之后不久便第一个窜到“油区”（油溪沿岸地区，包括泰特斯维尔、石油城和富兰克林）。几位早期的洛克菲勒传记作者坚持的一种说法是，洛克菲勒在1860年代表一群克利夫兰资本家考察泰特斯维尔，回来后劝说他们不要进入该行业，理由是石油的开采量很不稳定。洛克菲勒就此事辩解道：“在进行这次考察时，我已经在石油行业干了一年之久。我去那里进行考察，就是想看一看原油供应状况如何。”