陶侃平定了苏峻的叛乱以后，东晋王朝暂时获得了安定的局面。这时候，北边却乱了起来。
后赵国主石虎（石勒儿子）死了以后，内部发生大乱，后赵大将冉闵称帝，建立了魏国，历史上称为冉魏；鲜卑族贵族慕容皝（音ｈｕǎｎｇ）建立的前燕又灭了冉魏。公元３５２年，氏族贵族苻健也乘机占领了关中，建立了前秦。
后赵灭亡的时候，东晋的将军桓温向晋穆帝（东晋的第五个皇帝）上书，要求带兵北伐。桓温是个很有军事才能的人，他在当荆州刺史的时候，曾经进兵蜀地，灭掉了成汉，给东晋王朝立了大功。
但是东晋王朝内部矛盾很大。晋穆帝表面上提升了桓温的职位，实际上又猜忌他。桓温要求北伐，晋穆帝没有同意，却另派了一个殷浩带兵北伐。
殷浩是个只有虚名、没有军事才能的文人。他出兵到洛阳，被羌族人打得大败，死伤了一万多人马，连粮草武器也丢光了。
桓温又上了道奏章，要求朝廷把殷浩撤职办罪。晋穆帝没办法，只好把殷浩撤了职，同意桓温带兵北伐。
公元３５４年，桓温统率晋军四万，从江陵出发，分兵三路，进攻长安。前秦国主苻健派兵五万在峣关抵抗，被晋军打得落花流水。苻健只好带了六千名老弱残兵，逃回长安，挖了深沟坚守。
桓温胜利进军，到了灞上。长安附近的郡县官员纷纷向晋军投降。桓温发出告示，要百姓安居乐业。百姓欢天喜地，都牵了牛，备了酒，到军营慰劳。
自从西晋灭亡以后，北方百姓受尽混战的痛苦。他们看到桓温的晋军，都高兴地流着眼泪说：“想不到今天还能够重新见到晋军。”
桓温驻兵灞上，想等关中麦子熟了的时候，派兵士抢收麦子，补充军粮。可苻健也厉害，他料到桓温的打算，就把没有成熟的麦子全部割光，叫桓温收不到一粒麦子。
桓温的军粮断了，呆不下去，只好退兵回来。但是这次北伐毕竟打了一个大胜仗，晋穆帝把他提升为征讨大都督。
以后，桓温又进行了两次北伐。最后一次，进攻前燕，一直打到枋头（今河南浚县西南），后来，因为被前燕切断粮道，遭到失败。
桓温长期掌握东晋的军事大权，野心越来越大。有一次，他自言自语地说：“男子汉如果不能流芳百世，也应当遗臭万年。”
有个心腹官员知道他的野心，向他献计，说要提高自己的威信，就先得学西汉霍光的办法，把现在的皇帝废了，自己另立一个皇帝。
那时候，晋穆帝已经死去。在位的皇帝是晋废帝司马奕（音ｙì）。桓温带兵到建康，把司马奕废了，另立一个司马昱（音ｙù）当皇帝，这就是晋简文帝。桓温当了宰相，带兵驻在姑孰（今安徽当涂）。
过了两年，晋简文帝病重，留下遗诏由太子司马曜继承皇位。这就是晋孝武帝。桓温本来以为简文帝会把皇位让给他，听到这个消息十分失望，就带兵进了建康。
桓温到达建康那天，随身带的将士，都是全副盔甲，手居途网里拿着明晃晃的武器。朝廷官员到路边去迎接时，看到这个情景，吓得变了脸色。
桓温请两个最有名望的士族大臣王坦之、谢安到他官邸去会见，王、谢两人早已听说桓温事前在客厅的背后埋伏一批武士，想杀掉他们。所以，王坦之到了相府，浑身出冷汗，连衣服都湿透了。
谢安却十分镇静。进了厅堂坐定之后，他对桓温说：“我听说自古以来，讲道义的大将，总是把兵马放在边境去防备外兵入侵。桓公为什么却把兵士藏在壁后呢？”
桓温听了，也有点不好意思，说：“我也是不能不防备点儿。”说着，就命令左右把后面埋伏好的兵撤去。
桓温看到建康的士族中反对他的势力还不小，不敢轻易动手。不久，就病死了。
桓温死后，谢安担任了宰相，桓温的弟弟桓冲担任荆州刺史，两人同心协力辅佐晋孝武帝，东晋王朝出现了团结的气氛。