西晋灭亡以后，司马氏的东晋偏安于江南，北方黄河流域先后出现十几个割据的小政权，因为这些小政权多为少数民族建立的，史称“五胡十六国”，而这一历史时期也被称为东晋十六国时期。

北方也曾一度为氐族建立的前秦政权所统一，但前秦统治者苻坚好大喜功，急欲统一中国，而在淝水之战中被东晋打败，前秦在各地的统治迅速崩溃，北方重新又陷入混战之中，直到鲜卑族建立的北魏在439年才最终统一了中国北方。

南方的东晋，在420年被刘裕篡夺了政权，改国号为宋，史称刘宋。此后政权如走马灯一样换来换来，先后又存在过齐、梁、陈三个朝廷，与刘宋一起，合称南朝。鲜卑族建立的北魏，以及后来分裂出来的东魏、西魏，和分别取代东西魏的北齐、北周等五个政权，合称北朝。因此，这一历史时期也被称为南北朝时期，这是中国历史上第一个南北长期对峙的时代。