徐晃击退关羽后曹操嫌恶荆州及附近百姓想把他们都迁走。司马懿认为：“荆楚轻脱易动难安。关羽新破诸为恶者藏窜观望。今徙其善者既伤其意将令去者不敢复还”。曹操从之没有移民。藏窜逃亡者果然都复出归化。
延康元年(22o年)曹操去世朝野危惧司马懿管理丧葬诸事内外肃然。
同年曹丕即魏王位司马懿受封河津亭侯转丞相长史。
时孙权率军向西。朝臣认为樊城、襄阳缺乏粮不能抵御吴军请召守将曹仁回驻宛城。司马懿则认为不该放弃二城：“孙权新破关羽此其欲自结之时也必不敢为患。襄阳水6之冲御寇要害不可弃也”。曹丕未依其言命曹仁放火烧毁二城。后来孙权果然没有入侵。曹丕悔之不及。
同年曹丕登皇帝位史称魏文帝。由于司马懿为曹丕“篡汉”出了大力所以登基后曹丕任命司马懿为尚书不久转督军、御史中丞封安国乡侯。
黄初二年(221年)免去督军官职升任侍中、尚书右仆射。
黄初三年(222年)和黄初五年(224年)曹丕两次伐吴都以司马懿镇守许昌并改封司马懿为向乡侯。黄初六年(225年)春二月转任抚军大将军、假节领兵五千加给事中、录尚书事。司马懿辞让曹丕说：“吾于庶事以夜继昼无须臾宁息。此非以为荣乃分忧耳”。
同年曹丕又大兴水军攻吴仍命司马懿留守“内镇百姓外供军资”。临行下诏书给司马懿说：“吾深以后事为念故以委卿。曹参虽有战功而萧何为重。使吾无西顾之忧不亦可乎”！后曹丕由广陵回师洛阳又下诏对司马懿说：“吾东抚军当总西事；吾西抚军当总东事”。于是司马懿留镇许昌。”