遭到傅斯年拒绝的马衡被弄了个灰头土脸，退回北大国学门，再也没有吭声。接到蔡元培与傅斯年邀请的李济，遂辞却其他一切职位，以中央研究院史语所考古组主任的身份，立即赴河南与正在那里的董作宾见面协商发掘事宜，并对殷墟遗址有了进一步认识，作出了三个方面极具科学眼光的天才设定：

小屯遗址明显是殷商时代的最后一个首都。

虽遗址范围未确定，但有字甲骨出土的地方一定是都城遗址的重要中心。

在地下堆积中与有字甲骨共存的可能还有其它类遗物，这些遗物的时代可能与有字甲骨同时，或早或晚，当然要依据埋藏处多种因素而定。

根据以上三个设定，李济制定了第二次小屯发掘计划，并凭借此前与毕士博合作的良好关系，得到美国弗利尔艺术馆的经费支持。在董作宾密切配合下，李济率领考古队来到安阳小屯，于1929年春季和秋季分别进行了第二次和第三次发掘，陆续发现了大批陶器、铜器与3000余片甲骨、两大兽头刻辞与闻名于世的“大龟四版”（南按：一个完整的刻满文字的乌龟壳）。尤其引人瞩目和振奋的是，这年的11月21日，李济于一堆碎片中发现了一片彩陶--这是安阳殷墟在抗战前全部十五次发掘中，所记录出土25万块陶片中唯一的一片具有仰韶文化性质的彩陶。对于这一异乎寻常的发现，20年之后，李济曾专门撰写论文指出它在中国历史研究中的重大价值和意义：“在开始这一工作时，参加的人员就怀抱着一个希望，希望能把中国有文字记录历史的最早一段与那国际间甚注意的中国史前文化连贯起来，作一次河道工程师所称的‘合龙’工作。那时安特生博士在中国所进行的田野考古调查工作已经到了第十个年头了。这一希望，在第三次安阳发掘时，由于在有文字的甲骨层中一块仰韶式彩陶的发现，大加增高。现在事隔二十年了，回想这一片彩陶的发现，真可算得一件历史的幸事。”又说：“要不是终日守着发掘的进行，辛勤地记录，这块陶片的出现，很可能被忽视了。有了这一发现，我们就大胆地开始比较仰韶文化与殷商文化，并讨论它们的相对的年代。”[16]

1930年春，当史语所准备对殷墟再度进行发掘时，不详的预兆接踵而至，河南地面大雨、冰雹成灾，所降“冰雹大者数斤，小者如鸡卵”。这场灾难过后，接着出现旱灾，导致河南全境“每天平均饿死1000余人”。[17]此前，以李济为首的中研院殷墟发掘队与河南地方势力为争夺出土器物而大闹纠纷，使发掘陷于困难。随后爆发的中原大战，使河南一带成为阎锡山、冯玉祥等地方军阀组成的联军，与蒋介石为首的国民政府中央军拼杀的主战场。中央研究院史语所原定对安阳殷墟的第四次发掘计划，在大炮轰鸣，硝烟弥漫，血肉横飞、新鬼添怨旧鬼哭的风云激荡中化为乌有。

既然河南不能发掘，李济决定率部转移到山东临淄故城一带，欲开辟新的发掘工地。当在临淄勘察后，感觉“问题太复杂了，绝非短时期可以料理得清楚的”[18]。正在李济等人犹豫之际，突然传来了城子崖发现古遗址的消息，而遗址的发现者，正是清华研究院时代李济唯一的一位攻读人类学与考古学的研究生吴金鼎。

1928年春天，时任山东齐鲁大学助教的吴金鼎利用业余时间进行田野调查，在济南东约60余里的历城县龙山镇一个叫城子崖的地方，发现了一处黑陶文化遗址。惊喜之余，吴金鼎及时把这一情况报告给自己的导师李济。李济喜出望外，立即赶赴济南随吴金鼎到现场察看，意识到这是一处极其重要的历史文化遗址，遂立即“决定选择城子崖作山东考古发掘第一个工作地点。”

1930年秋，中原大战硝烟尚未散尽，李济与董作宾率师走出安阳，移驻山东济南城子崖开始首次发掘。考古人员发现遗址中明显具有新石器时代特征，所出土的文物与仰韶文化风格迥异，其中发现最多的黑陶和灰陶器具，几乎完全不同于河南、甘肃的彩陶，器形也没有相同之处。而发掘所得的最具特征的“蛋壳陶”，通体漆黑光亮，薄如蛋壳，其制作工艺达到了新石器时代的巅峰，这种工艺作为一种文化标志--黑陶文化，成为前无古人、后无来者的绝响。

根据发掘成果，李济等认定其文化遗存属于新石器时代，在考古学上的价值和意义“不但替中国文化原始问题的讨论找了一个新的端绪，田野考古的工作也因此得了一个可循的轨道。与殷墟的成绩相比，城子崖虽比较简单，却是同等的重要。”[19]由于城子崖遗址地处龙山镇，考古人员将这一文化命名为--龙山文化。

当中原大战硝烟散尽，血迹风干之后的1931年春，李济率部重返安阳，展开第四次大规模的殷墟发掘。在李济具体指导下，有计划地将殷墟遗址划分为五个大区，每区由一位受过专业科学训练或有经验的考古学家指导，以“卷地毯式”的新方法进行发掘。发掘队除原有的郭宝钧、王湘等人外，增加了十几位年轻学者。史语所新招聘的吴金鼎、李光宇来了，河南大学史学系学生石璋如、刘燿（尹达）、尹焕章等新人来了。最令人瞩目的是，梁启超的二公子、被李济称为“真正专门研究考古学的人”梁思永，也在这个明媚的春天里，带着勃勃生机，神采飞扬地到来了。