司马懿的家族原本是武将，他的高祖司马钧曾经官拜征西将军，参与平定西部的羌族作乱。可是到了司马懿的祖父司马儁时，其家族“由武入文”，开始沾染儒学的影响。司马家虽然是当地豪族，但和世家大族还是存在着较大的差距，不过司马家族和曹操之间存在着密切的关系。
司马懿的父亲名叫司马防，与曹操相识，曾推荐曹操担任洛阳北部尉。建安六年，曹操被封为司空，他征召司马懿的大哥司马朗为司空掾属。建安十三年，曹操征召司马懿担任丞相府文学掾，成为自己的属官。所谓文学掾，相当于曹操文学方面的幕僚，“掌文学侍奉”。
曹操在世期间，司马懿的官职一直很低，没有什么实际权利，充其量算个谋士。直到曹丕即位后，司马懿才得到重用，先后出任御史中丞、尚书仆射等职务。此时司马懿的职务虽然很高，但依然还是文臣，没有多少兵权。直到曹丕晚年，司马懿才在军事上崭露头角，担任抚军大将军的职务。
当时魏国主要有两个对手，一个是西南的蜀汉，一个是东南的吴国，为此曹魏政权设置了两大军事集团，一个驻扎在关中，抵御蜀汉的进攻，另一个以淮南为中心，防备东吴的进犯。曹丕临死前，安排了四位辅政大臣，分别是曹真、曹休、司马懿、陈群。曹真以大将军的身份，率军驻扎汉中，而曹休身为大司马，坐镇淮南。
曹魏虽然强大，却不断受到外界的挑战，特别是来自蜀汉的军事压力。诸葛亮自228年开始，不断率军北伐，给曹魏造成了不少的影响。负责对付诸葛亮的人，一直是曹真、司马懿。然而曹真却与231年病死，为了抵御诸葛亮的北伐，魏明帝打破常规，任命司马懿为将，坐镇关中，抵抗蜀军的进犯。
魏明帝只知道享乐，完全将军权交给了司马懿。虽然魏明帝临死前，意识到了司马懿的威胁，但也没能采取有效措施。曹真之子曹爽一度废黜了司马懿的权力，但老谋深算的司马懿很快就将其击败。高平陵之变后，司马懿成为曹魏权臣，独揽军政大权，在某种程度上来说，诸葛亮还算是他的“恩人”。