东晋建立之后，中原地区已沦丧于胡人之手。虽然皇室及大多世族只想偏安江南，然爱国之将士每每以北伐中原、规复失土为己任。故东晋自始至终，都有北伐之举，先后有祖逖、庾亮、殷浩、桓温、刘裕等人的多次行动。 其中最为重要的是祖逖、桓温、刘裕三人的先后北伐。
首先北伐的是东晋名将祖逖。祖逖(266─321)，字士稚，范阳遒县(今河北涞水)人。西晋末年北方大族，曾与刘琨同为司州主簿，两人同被共寝，闻鸡起舞，志向宏远。永嘉之乱后，祖逖率亲党数百家渡江，居于京口(江苏镇江)。。在东晋建国前，他就向司马睿请求北伐，被任为豫州刺史。建兴元年(313年)祖逖率部曲百家渡江，中流击楫，发誓收复中原。当时中原郡县系统已经崩溃，到处都是坞壁，祖逖采取灵活策略，招抚坞壁，屡破石勒，使黄河以南尽为晋土。当祖逖练兵积谷，为进取河北做准备时，晋元帝司马睿担心祖逖的发展对他不利，遂任戴渊为征西将军，都督北方六州军事，节制祖逖。祖逖眼看北伐无成，忧愤成疾，死于军中。祖逖死后，东晋内部连续发生王敦和苏峻之乱，朝廷忙于平乱，无暇北顾，石勒乘机占领了河南，晋军被迫退到淮南，祖逖北伐的成果也化为乌有。
永和元年，东晋王朝任命桓温为荆州刺史，握长江上游兵权。次年(346年)，桓温乘成汉政权腐败，内部不稳之际，率军沿江直上，率军入蜀。永和三年(347年)，桓温灭了氐人李氏的汉国，平定蜀地，声威大振。桓温(312-373)，字元子，东晋大将，龙亢(今安徽怀远)人。娶晋明帝女南康公主为妻，拜驸马都尉，曾率军三次北伐，欲收复中原。永和五年，北方再度混乱，桓温多次请求北伐。六年，朝廷以扬州刺史殷浩为中军将军、都督五州诸军事，并委以北伐重任，企图以此对抗桓温。可惜殷浩大败而回，后更被免为庶人，由是内外大权遂集于桓温一身。
永和十年(354年)，桓温首次北伐前秦，他亲率步骑四万余人，连破氐族苻健军，直抵霸上(今陕西长安东)。当地居民「持牛酒迎温于路者十八、九，耆老感泣曰：『不图今日复见官军!』」(《晋书·桓温传》)桓温因军粮不继，未能攻克长安，退返襄阳。永和十二年，桓温第二次北伐，击败羌族贵族姚襄，收复洛阳。隆和元年(362年)，桓温向晋穆帝建议还都洛阳;又建议自西晋末年南迁的土庶人等，一律返回故乡。但上自皇帝下至达官贵人，均安于江南一隅，不愿北还，纷纷反对。桓温的建议未被采纳。前燕趁东晋大臣相互猜忌和牵制之际，占领洛阳。第三次北伐是在太和四年(369年)，桓温率步骑五万人大败前燕军，进抵枋头(今河南浚县)。可是前燕得到前秦的支援，截断了晋军的粮道，桓温只得退兵。在退兵途中，晋军遭到前燕骑兵的追击，死伤三万人。 太和六年(371年)，桓温废帝奕为东海王(即海西公)，改立简文帝，自己则以大司马镇姑孰专擅朝政，不久病死。东晋末年，北府将领刘裕控制朝政。占据山东地区的鲜卑慕容氏南燕政权，此时便乘东晋衰乱之际屡次侵扰东晋边境。义熙五年(409年)二月，慕容超大掠淮北，刘裕兴兵北伐。
四月，率水军从建康北上，沿淮河，越大岘(今山东沂水北穆陵关)，次年攻破南燕都城广固(今山东益都西北)，收复青、兖两州，追获慕容超，斩首建康。七年(411年)，镇压卢循起事军。八年(412年)，消灭了刘毅，以及可能形成威胁的诸葛长民、晋朝宗室司马休之等，清除异己势力，巩固了后方。九年(413年)，西攻谯纵，收复巴蜀。十二年(416年)后秦主姚兴病卒，子姚泓继立，兄弟相杀，关中扰乱。刘裕乘机率大军分兵四路北伐后秦，进攻关洛。途经黄河，击败北魏军。翌年进克洛阳，至潼关，命大将王镇恶直趋长安，姚泓投降，后秦亡。晋军收复长安，在少数民族统治下达百年的汉族百姓纷纷响应。这时留在朝廷坐镇的尚书左仆射刘穆之病故，刘裕怕政权旁落他人之手，便留次子刘义真镇长安，王修、王镇恶等率兵万余辅佐，自己仓促返回建康。长安留守军内讧，夏主赫连勃勃乘机夺取关中。刘义真虽被迫撤出长安，但自潼关以东、黄河以南直至青州已为南朝版图，江淮流域得到保障，这是祖逖、桓温、谢安经营百年所未能达到的。刘裕在朝廷中声望也达到极点，进而实现禅代。
纵观东晋王朝，虽曾屡屡兴师北伐，然北伐之军每每功败垂成，始终未能恢复中原、完成一统。其原因是多方面的，首先是朝廷多方牵制。东晋王室害怕北伐将帅功高难制，故对他们多方限制、监督，不肯充分信任与支援。祖逖之北伐曾受晋元帝之掣肘。桓温反对「永结根于南垂，废神州于龙漠」的苟安态度，请求还都洛阳、「一切北徙」，但上表至十数次均不得批准。其次，东晋的世族又多苟且偷安。当时皇室和南来之北方世族均把江南当作人间乐土，醉生梦死，贪图苟安，胸无大志。如有的大臣认为「田宅不可复售，舟车无从而得」，还都洛阳系「舍安乐之国，适习乱之乡」。江南本地的望族受朝廷重用，也不希望皇室北还。南北世族对寒族出身的将领更是多方排斥、处处牵制。
北伐失利的另一原因是内乱频连不断。东晋偏安江南，大权多握重臣悍将之手，致内乱频生，如王敦之乱、苏峻之乱以及桓玄篡立等等，影响了北伐的根本大计。此外，北伐的将帅又每多心怀叵测。北伐将领之中，固不乏忠义之士，如祖逖等，但也有的像刘裕等人，具有政治野心，每区区权衡个人之利害得失，未能把北伐坚持到底。除了上述西晋方面的因素，北伐失败的重要原因在于当时北方胡人武功颇盛。五胡之政权虽呈割据纷争之态，但整个北方均为其所占，势力十分庞大。加以胡人多勇敢骠悍，一时很难制服之。