208年，曹操为丞相以后，强征司马懿为文学掾。219年，蜀吴联盟破裂，孙权遭刘备征伐，为避免曹操趁火打劫，孙权向曹操称臣，拥护曹代汉自立。曹操说：这娃娃想让我坐在炉炭上烧烤吗? 司马懿却说：“大汉气数已尽，殿下以德服人。孙权称臣，上天之意。”司马懿在曹氏代汉这个问题上表态支持，因此曹操对他转为信任。

　　曹操进封魏王后，司马懿多出奇策。如蜀国大将关羽统兵进攻樊城，威震华夏。当时曹操为避关羽锋芒，一度准备迁都河北。司马懿劝阻：于禁等被水所淹，不是攻守失误，对国家没有大的损害。如果轻易迁都，不仅以弱示敌，还会造成人心浮动。我们派人说服孙权，令其抄袭关羽后路，樊城之围自解。

　　曹操采纳了司马懿的计策，孙权果然派吕蒙袭取江陵，俘杀关羽。司马懿之计利用了孙权与刘备争夺荆州的矛盾，充分运用四两拨千斤，挑动鹬蚌之争，坐收渔利，不仅挫败了关羽的攻势，解除了樊城之围，而且也使诸葛亮一路向宛洛、一路出秦川的两面夹击中原的计划无法实现。

　　从魏文帝曹丕时期开始，司马懿几乎就成了曹魏的守护神，哪里有强敌犯境，哪里就会出现他的身影。他最重要的军事成就有二：一是解除了诸葛亮的多次进攻。二是平定辽东太守公孙渊的反叛。这年司马懿已经61岁。由于正统的道德观，历代帝王都渲染司马懿的奸诈和篡位，片面地苛责他的不忠，而没有反思曹魏对他的不信。

　　曹操猜忌司马懿，也是符合曹操一贯的用人风格的。曹操主张唯才是举，实际上有一个前提，那就是无论是什么人才，必须保证为我所用和为我所控。否则，必欲除之而后快。曹操对司马懿的雄才大略既暗自叹服，又深为忌惮，唯恐儿孙辈无人能够驾驭。曹操曾提醒曹丕：司马懿非人臣，一定会干预你的家事。但曹丕对司马懿非常推重，自然也就没把曹操的告诫当回事。魏文帝曹丕曾说：司马懿会像萧何效忠于刘邦一样效忠于自己。

　　曹丕临终时，对太子曹叡说：“有三个人，你千万不要怀疑。” 这三位顾命大臣中，曹真是皇室成员，但才略平平;陈群主管政务;唯有司马懿有超群的军事才能。但皇室成员对司马懿的猜忌此起彼伏，魏明帝陷入一种既离不开又信不过的纠结之中。司马懿征伐公孙渊时，路经故乡温县，他没有光宗耀祖、衣锦荣归的畅意，反而有了告老还乡的苍凉，因为他深知消灭公孙渊后，狡兔死走狗烹，能否终老封地，不得而知。

　　但命运再次让司马懿成为顾命大臣。司马懿还在班师途中，魏明帝突发重病，其子齐王曹芳只有八岁。任命曹爽和司马懿为顾命大臣。司马懿昼夜兼行四百余里，一宿而至。司马懿流涕问疾，魏明帝紧抓着司马懿的手目视齐王说：“我一直没有死，就是为了等你，现在终于见到了，再也没有什么遗憾的了，我的儿子就托付给你了。”

　　但曹爽借助皇室成员的身份，对司马懿进行挤对和排斥。司马懿称病辞朝，不问政事。曹爽担心司马懿装病，派心腹李胜借机去伺察司马懿的身体状况。司马懿知其来意，假装病重，骗过了李胜。李胜回去对曹爽说：“司马懿就剩一口气了，不值得担心。”曹爽等从此便不再防备司马懿。

　　249年春正月，乘着魏帝曹芳、大将军曹爽离开洛阳去祭扫魏明帝的坟墓之机，司马懿以雷霆手段一举清除了曹爽势力。从此，曹魏的军政大权完全落入司马懿的手中，为司马氏取代曹魏奠定了基础。但终其一生，司马懿仍称魏臣，也算报答了与魏武帝曹操、魏文帝曹丕、魏明帝曹三朝的君臣之谊。