儿子众多，而且二儿子秦王司马柬一度人望很高，被很多人认为是更为合适的皇位继承人，但是司马炎仍然选择了以司马衷为继承人，而拒绝了其他人的建议。这个事情确实看起来很奇怪，不太符合逻辑。
但是，如果从司马炎的经历来看，就会发现，这个选择并不奇怪，而是合乎逻辑的结果。
司马氏从司马懿发动高平陵之变开始，基本上完全掌握了曹魏政权。但高平陵之变是一次政治逆袭，风险非常高。司马懿之所以能够取得成功，是因为他得到了曹魏政权的一大批功臣勋旧集团的支持，尤其是文官集团的支持，如蒋济、高柔等人，都是司马懿发动政变的支持者。
高平陵之变顺利除去曹爽集团之后，又通过废黜齐王芳、改立高贵乡公髦，之后又弑杀曹髦，改立曹奂，这一系列废立皇帝的举措，逐步暴露并将仍然忠于曹魏政权的一批大臣边缘化，而用忠于司马氏的文武臣僚取代，才逐步完成权力转移过程。而且，在这个过程中，出现了淮南三叛，都是以反对司马氏专权为名义的。
而司马氏在这一过程中，也是处于连续不断的接力过程。司马懿在镇压王凌之叛后不久就死去，其子司马师继承他的权力，掌握曹魏政权的最高权力。但司马师平定淮南第二叛毋丘俭之叛，还没来得及班师回朝，就死在回师的路上。司马师本人无子，过继的司马昭的儿子司马攸这时候还小，就由司马昭继承其权力。
相比之下，司马师继承司马懿的权力是自然而然的过程，司马懿一直是把司马师当作自己的接班人培养。甚至司马师的几次婚姻，也完全是服务于司马氏家族的政治利益的。发动高平陵之变前，在进行秘密策划的时候，司马懿也只和司马师商量过，连司马昭都没有在事前得到消息。
但是，司马懿没有料到的是司马师继承权力才七年就去世了，当时只有司马昭是血统上更合适、而且政治经验相对丰富的继承人，所以只能由他来继承。但司马昭曾对人说，天下是景王也就是司马师的天下，他只是临时看管，以后是要还给司马师家的。
司马师没有儿子，由司马昭的二儿子司马攸奉祀。所以，在当时不少人心目中，司马昭将来是要把权力交给司马攸的。所以，司马昭在立嗣的问题上一直有些犹豫不决。但是，最终司马昭还是选择以长子司马炎为嗣。
司马昭死时，司马炎三十岁。与司马师、司马昭早早就参与家族政治活动不同，司马炎之前的表现一直是一个纨绔公子，和当时的名士夏侯玄、诸葛诞、何晏等人过从甚密，参与政治活动比较少，政治经验也不是很丰富。所以，在司马昭死后，曾有人提议由司马懿的弟弟司马孚继承权力，充当司马氏的政治核心。
当然，最后司马氏集团仍然选择了以司马炎继承权力，并且在之后不久就篡魏为晋，成为晋朝的开国皇帝。司马炎能够在家族内部的继承权之争中胜出，并不是因为他的人望特别高，能力比别人都强很多，其实就是因为一个最为简单的物理性原因，他是司马昭的长子，是立嗣以长不以贤原则的受惠者。如果按照立嗣立贤的原则，那么继承权更有可能落入齐王攸或者司马孚的手里，而不是司马炎。所以，他在继位之后，就按照这一原则，立司马衷为嗣。
司马氏从魏臣篡位为君，忠义自然是谈不上了，所以只能以孝治国。那么，对司马炎而言，他选择立司马衷为嗣就意味着，他对外公开表明，他这是在贯彻司马昭确立的立嗣原则，以此来弹压当时朝臣中仍然存在的对司马攸的期望。
在晋国开国之后封建诸王时，最大的受益者也并非司马炎自己，而是司马孚，司马孚和他的儿子们总共得到了十一个王爵，而司马炎自己的儿子只有四个人封王。这时候，宗室对他而言，压力大于对他的支持。而且，这时候齐王攸还在，人望也很高，远非司马炎的儿子司马衷可比。
公元272年，司马炎突然生了一场重病，朝臣中有人开始私下商量，准备司马炎的身后事。其中一个重要的选项就是立司马攸为帝，而不是立司马衷为帝。这件事对司马炎造成了很大的冲击。他之前的宠臣贾充在此时也参与了这个阴谋，所以他在病愈之后不再信任贾充。
也是通过这次事件，司马炎也意识到，宗室和司马氏赖以篡取曹魏政权的那些功臣勋戚家族正在威胁帝系皇权。所以，病愈之后，他开始加速提拔外戚家族，也就是他的皇后杨氏的父亲杨骏等人，以此来制衡宗室、勋贵世家。此外，司马炎还下诏强硬要求司马攸之藩，不允许他再住在京城洛阳。司马攸虽然一直拖着没有去封地，但不久之后也死了。
司马攸死后，司马炎的二儿子司马柬又被朝臣视为比司马衷更为合适的继承人。而且，司马柬在洛阳所居住的府邸正好就是司马攸之前的府邸，更加给了很多人强烈的心理暗示。
几年后，司马炎再次调整宗室诸王封地，原来的宗室被削弱，司马炎的儿子、孙子们则成为最大的受益者。其中，司马柬被封为秦王，食邑达到惊人的五万户，而之前一直被认为受到优厚待遇的安平王司马孚的食邑才只有四万户。这意味着，司马炎虽然已经决心放弃选择司马柬为嗣的选项，但他显然觉得在心理上是有些愧疚和不安的，所以在食邑户数上给以超高规格的优待。
在司马炎临死前，他自认为留下的是一个内外均衡的政治格局。朝廷内部由外戚杨骏辅政，外有宗室强藩夹辅王室，日常性的行政事务则由士族官僚们负责承担，是可以避免其中任何一家独揽大权的结构。
但他煞费苦心、经营多年才建立起来的这套政治权力结构并不稳固，作为其中最大变量的就是司马衷的政治能力几乎等于零，完全被皇后贾南风所操纵。贾皇后先召藩王入京诛杀了杨骏，其他藩王也接踵而来，由此演成了八王之乱。八王之乱闹完，五胡之乱接着就来了，西晋也就成了中国历史上的一个短命王朝。
而被司马炎视为真正接班人的皇孙愍怀太子司马遹则英年早逝，没有等到接班就死了。今天人们常说，司马懿能够最后成为三国的大赢家，最主要的原因就是他寿命长，先后熬死了曹操、曹丕和曹叡三代曹魏政权的掌权者，之后继位的都是政治经验缺乏的少年皇帝，才给了司马懿掌权的机会。但司马氏从司马懿之后，实际上也面临这个问题，先是碰到一个弱智皇帝，被寄予厚望的接班人又英年早逝，整个政治平衡结构也被打破。