司马懿精明一世，但他的子孙却很不争气，话说司马懿第五子名叫司马伷，被封为琅邪王，这人还不错，颇有能力，“克己恭俭，无矜满之色，僚吏尽力，百姓怀化”。 司马伷死后，长子司马觐继承琅邪王王位，但此人的各方面能力就差远了。
比如说司马觐的王妃竟然和府中的小吏牛钦私通，给司马觐戴了一顶绿帽子，这还不算，王妃还怀上了小吏的孩子，让司马觐“喜当爹”。当然这位王妃也非等闲之辈，司马觐的妻子是将门虎女，乃是曹操麾下大将夏侯渊的曾孙女，“幼而明慧”。
家丑不可外扬，毕竟这事不光彩，虽然如此，但“牛继马后”的传言依然在民间广为流传。司马觐死后，夏侯王妃与牛钦所生的儿子继承王位，此人就是司马睿，按照辈分是司马懿的曾孙。
后来西晋发生了大动乱，先是八王之乱，接着又是五胡乱华，中原地区陷入前所未有的战乱之中。琅邪王司马睿则在王导、王敦兄弟的辅佐下，坐镇东南，积极扩展自身实力。到了318年，司马睿在建康称帝，建立东晋王朝，他也成为东晋的开国皇帝。
司马睿虽然成了皇帝，但关于他的身世的传闻从未停止过。明朝大思想家李贽就称东晋为“南朝晋牛氏”，史官们对“牛继马后”的记载非常多。比如《晋书》虽然在开头写道：“元皇帝讳睿，字景文，宣帝曾孙，琅邪恭王觐之子也。”
但在结尾也写道“而恭王妃夏侯氏竟通小吏牛氏而生元帝，亦有符云”。沈约在《宋书》中也写道：“元帝母夏侯妃与琅邪国小史姓牛私通，而生元帝”。不但后人认为牛继马后存在，就连东晋人也曾经直言不讳的记载这件事，比如东晋史学家孙盛。
孙盛在《晋阳秋》中记载“又初元石图有‘牛继马后’，故宣帝深忌牛氏。遂为二榼，共一口以贮酒。帝先饮佳者，以毒者鸩其将牛金，而恭王妃夏氏通小吏牛钦，而生元帝，亦有符云。”孙盛这个人是非常合格的史官，他曾经把桓温打败仗这件事写到史书里，后遭桓温威胁，但不为所动。
因此孙盛写的这本《晋阳秋》虽有不足，但“词直理正，咸称良史”，既然东晋人都不避讳这件事，可见“牛继马后”并非是空穴来风，或确有其事。自318年司马睿称帝，到420年刘裕即位，东晋先后有11位皇帝，坐镇东南半壁江山，享国102年之久。