在内战中受伤复员后，弗兰克进入一家商业学校学习，然后像约翰和威廉那样找了一份簿记员的工作。不过，他没有像哥哥们那样由此发达起来。弗兰克一心想超过两位兄长，在1870年迎娶美貌高挑的海伦·E·斯科菲尔德之后也进人炼油业，成为标准石油公司的竞争对手。斯科菲尔德家族是在克利夫兰定居较早的家族之一，海伦的父亲戚廉·斯科菲尔德是亚历山大－斯科菲尔德公司的合伙人。这家炼油企业在1872年被约翰购并。弗兰克居然娶了竞争对手的女儿，约翰只能把这件事视为弟弟对自己的挑战。

兄弟两人在1876年彻底反目。弗兰克在一个议会委员会调查南方发展公司时出庭作证，声称约翰在并购亚历山大一斯科菲尔德公司时使用高压手段。弗兰克知道报界想要得到什么，便透露一段约翰说过的威胁性话语：“我们已经与铁路公司联盟。我们要把克利夫兰所有的炼油厂统统买下来！我们会给每个人一个入伙的机会，当然也会给你们机会。胆敢拒绝合作的人一定会倒霉！即使你们不卖厂子，它也会变得一文不值！”弗兰克还声称别的公司也受到同样的威胁：“在克利夫兰大约有20家企业都是在威胁下转手的，那儿人都会告诉你们同样的故事。”事实上，每次发生公开冲突之后，弗兰克总是找到约翰，说上一大堆道歉的话：“约翰，能原谅我吗？我是个笨蛋。”这样悔过的一个原因可能是他一直欠着兄长的钱。

两兄弟的谋求和解的努力屡屡以失败告终。1872年，弗兰克不得不退出石油业。他把自己持有的亚历山大一斯科菲尔德公司股份变现，然后买下伊利湖上的一支船队。为了表示和解，约翰给了他一份标准石油公司的货运合同。弗兰克没有好好珍惜这个机会。有一次，标准石油公司突然急需大量船只，弗兰克此时恰好外出打猎，而他的船队由于管理不善而无法承担此项任务。弗兰克回到克利夫兰后受到约翰的责备：“弗兰克，再也不许发生这种事情！如果你还想好好做生意，咱们就接着干；如果不想这样，我们就找别人！”弗兰克忍不住吵了起来后，约翰说道：“算一算你在花在船队的钱，给我说个数吧！”第二天，约翰买下弗兰克在船队的全部股份。弗兰克以后经常在证券和期货市场做投机生意，同生性谨慎的兄长愈加疏远了。

让两兄弟关系愈加恶化的是，约翰非常憎恶弗兰克的岳父威廉?斯科菲尔德。据说有一次约翰对山姆?安德鲁斯说：“那边，山姆，那就是斯科菲尔德。我迟早会收拾他，你就看着吧！”这是克利夫兰炼油商J·W?福赛特告诉艾达?塔贝尔的，也许纯属谣言，因为洛克菲勒从不用这种恶狠狠的口气，但他与斯科菲尔德的积怨非常深。标准石油公司买下亚历山大一斯科菲尔德公司时，这家公司的所有合伙人都发誓不再进入炼油业。然而，在仅仅1年之后，斯科菲尔德就成立一家名叫斯科菲尔德－舒默－蒂格尔公司的炼油企业，这在约翰看来是背信弃义的恶劣行径。“完全是一群强盗，”约翰后来说，“这样叫他们丝毫不过分。”忍耐3年之后，约翰在1876年与这个死敌达成秘密交易：他出资1万美元，双方联合组建斯科菲尔德－舒默公司。他为该公司购买原油，销售它出产的成品油，并使它享有铁路运费折扣，条件是公司接受石油提炼配额。为完成这笔交易，洛克菲勒与这几个秘密合作者商定使用一个特别邮政信箱传递消息。艾达?塔贝尔就此评论道：“事实上，走私犯或盗贼也没法子使自己的行动比他们更隐秘！”如果洛克菲勒自以为收服了对手，就大错特错了。斯科菲尔德一舒默公司的成品油产量远远超过配额，标准石油公司不得不到法庭起诉它。1880年，一位克利夫兰法官裁定标准石油公司败诉，因为它对竞争对手产量的限制实际上是在限制贸易。这次的判决在当时的影响很大，但洛克菲勒在后来依旧用同样的手段对付竞争对手。

1878年，弗兰克与C·W·斯科非尔德和J·W?福赛特合作在克利夫兰成立一家名为先锋石油公司的炼油企业。受到冒犯的约翰在此时决意并购弗兰克的公司。他通过居中传话的威廉告诉弗兰克，标准石油公司能够以比他的企业低一半的成本提炼石油。约翰的威吓最初似乎起到发作用。弗兰克在1879年春与俄亥俄州玛丽埃塔的几位独立炼油商进行接洽，而这几个人曾经声称标准石油公司与铁路公司串通一气，试图把它告上法庭。下属向约翰汇报，弗兰克就躲在一个街区之外的一家杂货店里，正与他人试图用法院传票强行截住标准石油公司的管理人员。这使约翰感到极为愤怒。随着时日的累积，两兄弟之间的关系正在变得愈来愈糟糕。