刘聪攻下长安后，南方还在晋朝官员手里。晋愍帝在被俘前留下诏书，要镇守在建康（原名建业，今江苏南京市）的琅琊（音ｌáｎｇ　ｙá）王司马睿（音ｒｕì）继承皇位。
　　司马睿在西晋皇族中，地位和名望并不高。晋怀帝的时候，他被派到江南去镇守。他带去了一批北方的士族官员，其中最有名望的是王导。司马睿对王导言听计从，把他看作知心朋友。
　　司马睿刚到建康的时候，江南的一些大士族地主嫌他地位低，不怎么看得起他，也不来拜见他。为了这个，司马睿心里不踏实，要王导想个办法。
　　王导有个堂哥王敦，当时在扬州做刺史，很有点势力。王导把王敦请到建康，两个一商量，想出一个主意来。这年三月初三，按照当地的风俗是禊（音ｘì）节，百姓和官员都要到江边去“求福消灾”。这一天，王导让司马睿坐上华丽的轿子到江边去，前面有仪仗队鸣锣开道，王导、王敦和从北方来的大官、名士，一个个骑着高头大马跟在后面，排成一支十分威武的队伍。
　　这一天，在建康江边看热闹的人本来很多。大家看到这种从来没见到过的大排场，都轰动了。
　　江南有名的士族地主顾荣等听到这个消息，从门缝里偷偷张望。他们一看王导、王敦这些有声望的人对司马睿这样尊敬，大吃一惊，怕自己怠慢了司马睿，一个接一个地出来排在路旁，拜见司马睿。
　　这一来，提高了司马睿在江南士族地主中的威望。王导接着就劝司马睿说：“顾荣、贺循是这一带的名士。只要把这两人拉过来，就不怕别人不跟着我们走。”
　　司马睿派王导上门请顾荣、贺循出来做官，两个人都高兴地来拜见司马睿。司马睿殷勤地接见了他们，封他们做官。
　　打那以后，江南大族纷纷拥护司马睿，司马睿在建康就站稳了脚跟。
　　北方发生大乱以后，北方的士族地主纷纷逃到江南来避难。王导又劝说司马睿把他们中间有名望的人都吸收到王府来。司马睿听从王导的意见，前前后后吸收了一百零六个人，在王府里做官。
　　司马睿听从王导的安排，拉拢了江南的士族，又吸收了北方的人才，巩固了地位，心里十分感激王导。他对王导说：
　　“你真是我的萧何啊！”
　　公元３１７年，司马睿在建康即位，重建晋朝。这就是晋元帝。在这以后，晋朝的国都在建康。为了和司马炎建立的晋朝（西晋）相区别，历史上把这个朝代称为东晋。
　　晋元帝登基的那天，王导和文武官员都进宫来朝见。
　　晋元帝见到王导，从御座站了起来，把王导拉住，要他一起坐在御座上接受百官朝拜。
　　这个意外的举动，使王导大为吃惊。因为在封建时代，是绝对不允许有这样的事的。王导忙不迭推辞，他说：“这怎么行。如果太阳跟普通的生物在一起，生物还怎么能得到阳光的照耀呢？”
　　王导这一番吹捧，使晋元帝十分高兴。晋元帝也不再勉强。但是他总认为他能够得到这个皇位，全靠王导、王敦兄弟的力量，所以，对他们特别尊重。他封王导担任尚书，掌管朝内的大权；又让王敦总管军事。王家的子弟中，很多人都封了重要官职。
　　当时，民间流传着一句话，叫做“王与马，共天下”。意思就是王氏同皇族司马氏共同掌握了东晋的大权。
　　王敦掌握军权，自以为了不起，把晋元帝不放在眼里。晋元帝也看出了王敦的骄横，另外重用了大巨刘隗和刁协，对王氏兄弟渐渐疏远起来。这样，刚刚建立的东晋王朝内部就出现了裂痕。