东汉末曹操在平定中原后，开始准备代汉，这时中国的六大地区中，东南孙权、西南刘备都建立割据与曹操对抗，建安十八年曹操分天下为九州，自己担任冀州牧，他恢复禹贡是因为要把并州、幽州并入自己的冀州统治区，同时任命司马朗担任列第二州的兖州刺史，这里是他兴起的地方，让司马朗率领势力仅次于颍川豪强的兖州贵族，利用曹氏和司马氏的亲密关系，也有利于曹操的统治。

司马氏在这时起就开始在中国政治舞台发挥重要作用，代表中小地主阶级的士族利益。在建安二十一年曹操开始对士族进行打击，与司马朗关系密切的崔琰被杀，毛玠罢免，二十二年司马朗去世，豪强与士族的矛盾加剧，也削弱了曹魏集团，在军事上接连失利，汉中等地沦陷，司马懿等士族在豪强都拥戴曹操，说汉室已尽时，持汉室垂终的立场，这固然是客观实际，也体现了士族在豪强与汉室的对抗中，采取了中立态度。但是司马懿等为代表的士族为了自身利益也提出了军屯、防御、爱民等计略，竭力维护曹魏的中原统治，曹操见司马懿不反对代汉，也竭力拉拢士族，让他们辅佐曹丕。

在曹丕继位后，司马懿当时在汉室的职务是丞相长史，他是魏国执掌兵权的重要官员，劝阻曹丕不要放弃襄樊。司马懿在魏国的职位是督军、御史中丞，在劝进时和郑浑、羊袐、鲍勋等是第三批，他不是《晋书》记载的在曹丕称帝后才任督军，劝进时已是督军，两个月后的黄初二年，曹丕称帝后不久就废除了司马懿督军职务。

东汉开始有督军御史，曹操时设立都督，只有司马朗和夏侯惇、曹仁等极少数能督众军，司马懿当时担任的督军是督全军的要职，曹丕即位也排挤士族，杀了杨俊、鲍勋等，解除士族的兵权，但提升司马懿行政权力，改任侍中、尚书仆射。

曹丕亲自指挥军队伐吴，五年中三次失败，豪强武装战斗力的低下使他再次起用士族统兵，黄初五年任命司马懿兼任抚军大将军，领亲兵五千，录尚书事，负责留台。六年诏：吾东，抚军当总西事，吾西，抚军当总东事，把司马懿比作萧何。

司马氏集团此时已经开始在中原发挥关键作用，在中国六大地区中，在西北的西域和东北的辽东有重要影响力。其中最早控制了被视为绝远、荒凉的西北，不仅西域是司马孚献策恢复联系的，负责西域戎夷事务的大鸿胪也是由司马氏集团的崔林负责，他制定了与西域交往的制度。

凉州的历任刺史也都是与司马氏集团关系密切的人担任，司马懿的抚军军师徐邈担任刺史最长。在东北辽东统治的公孙恭被侄儿公孙渊夺权后关押，也是司马懿平定辽东解救了他，而且司马氏集团的高柔还竭力劝阻曹睿杀公孙晃，可见司马氏集团是与辽东公孙恭、公孙晃这派关系密切。曹睿封公孙渊为大司马，高于司马懿职务时，在徐邈控制的凉州就发生了反曹舆论，徐邈没有毁了预示司马氏得天下的图谶，是曹睿让人把“讨曹”的“讨”字凿去。

徐邈和辽东李胤等与公孙氏有仇，对曹魏压制司马懿不满，纵容反曹舆论散布。因此曹睿忧虑地问陈矫社稷，回答是司马懿是朝廷众望所归，司马懿联合东北各民族平定辽东后，控制了东北和西域。