当东晋在江南建国的同时，中国的北方则陷入分裂混战，黄河流域成为匈奴、羯、鲜卑、氐、羌等五个主要少数民族和汉族争杀的战场，并分别建立了自己的国家，相互争霸，不断有国家成立和灭亡。

　　从永兴元年(304年)匈奴贵族刘渊建立汉国，建兴四年(316年)灭掉西晋，到北魏太延五年(439年)鲜卑拓跋部统一北方，这130多年里北方各民族相互争战，先后建立了前赵(匈奴)、后赵(羯)、前燕(鲜卑)、前凉(汉)、前秦(氐)、后秦(羌)、后燕(鲜卑)、西秦(鲜卑)、后凉(氐)、南凉(鲜卑)、西凉(汉)、北凉(卢水胡)、南燕(鲜卑)、北燕(汉)、夏(匈奴)等十五个政权，连同西南巴氐族建立的成汉，共十六国，和东晋汉族政权长期对峙，史称五胡十六国。

　　除十六国之外，还有汉人冉闵建立的魏、丁灵翟氏建立的魏、武都氐帅杨氏建立的仇池国、鲜卑慕容氏建立的西燕、鲜卑拓跋氏建立的代五个政权，总计先后建立了21个政权。上述政权中，后赵、前燕、前秦都曾占据过北方的大部分疆域。

　　东晋虽然偏安于江南，但在历代帝王在位的时候都希望收复北方的国土。从北方南迁的人民时常怀念家乡，因此一些有志之士多次进行北伐。其中以王、谢、桓、庾四大家族为主的门阀对北伐采取了不同的态度，由于世族已安居江南，南方丰富的资产使得重返北方的意愿不高。在东晋时曾进行过多次北伐，在其中也不乏名将的指挥。

　　东晋初期，朝廷采取以攻为守态度抵御北方。317年祖逖意图北伐，晋元帝只有给予少量军队，命他相机进取。他招募流民建立军队，并与当地坞堡合作，最后成功收复黄河以南领土，与石勒隔河相持。但由于东晋发生内乱，朝廷又担心他威望太高，于321年派戴渊为总督节制，以致收复河北的计划无疾而终，祖逖忧愤而死，失地得而复失。王敦因为祖逖去世而不必顾虑，之后遂叛变。祖逖军由其弟祖约率之，最后也随苏峻叛变。晋成帝时则由庾亮、庾翼兄弟主持北伐，他们以荆州为中心，意图发动北伐。但是因为朝廷抵制，所以没有实现。庾氏兄弟相继去世后，荆州刺史由桓温担任。他向往刘琨、陶侃事迹，以北伐为务。

　　346年晋穆帝时，桓温讨伐成汉(成汉于338年为李寿篡位，改国号为汉)，次年讨灭。桓温声威大震，世族忌妒之，执政司马昱引殷浩抗衡之。

　　349年石虎死，晋廷派褚裒北伐，失败。桓温多次希望北伐，晋廷不许，改以殷浩负责北伐。

　　352年殷浩联合羌将姚襄北伐前秦，被苻健击败。次年殷浩再度北伐，为姚襄所袭。

　　354年晋廷只好将桓温换上，由他掌握北伐大权。桓温先后发动三次北伐，同年2月伐前秦，但由于苻健采坚壁清野战术并打败晋军，最后桓温缺粮而撤退。

　　356年，桓温讨伐河南姚襄，击溃之并收复洛阳，修谒皇陵。

　　358年他建议迁都洛阳，但遭到世族反对做罢。等到晋哀帝及晋废帝(即司马奕)相继为帝之后，桓温已经控制朝廷。当时北方呈现前秦前燕两强局势，洛阳为前燕占领。桓温为了准备篡位，于369年讨伐前燕。当时燕军大败，晋军进驻枋头(今浚县附近)与燕将慕容垂对峙。最后晋军缺粮而退，慕容垂率军追杀，晋军大败。

　　371年桓温废晋帝司马奕为东海王，改立司马昱为简文帝。隔年简文帝去世，晋孝武帝继位，373年桓温要求“九锡”，有代晋之意。大臣谢安、王坦之拖延该事，不久桓温病死，东晋得以保存。