桓温虽死，门阀政治的格局依然延续。由于司马曜年幼，为了防止桓温之弟桓冲等谯国桓氏人物继续专权，谢安在桓温死后请出孝武帝从嫂崇德太后褚蒜子第三次临朝听政。
谢安和王坦之在拥立孝武帝、匡扶晋室的过程中立下大功，自然也得到报偿。所以，东晋实权仍由士族门阀把持，只不过由谯国桓氏逐渐转移到太原王氏和陈郡谢氏手中。
公元375年五月，王坦之死，谢安势力更盛，与桓冲分处中外，形成东晋权力结构的平衡。同年八月，司马曜婚，迎娶太原王氏名士王濛的孙女王法慧为皇后，其弟琅邪王司马道子也迎娶王坦之的从侄女为王妃，这不仅使太原王氏的影响力继续存在于东晋朝廷，也为司马曜后期主相相持的政局埋下伏笔。
公元376年正月初一，司马曜加元服，崇德太后归政，谢安以中书监录尚书事，成为名副其实的宰相。谢安当权的最大弱点在于没有可靠的军事力量作为支撑。由于对内要防范仍在荆州盘踞的桓冲势力，对外要对付日益强盛的前秦政权，陈郡谢氏对于武力的需求迫在眉睫。
公元377年，谢安推举自己的侄儿谢玄为兖州刺史，镇守广陵，两年后又兼领徐州刺史，驻节北府。谢玄在此期间招募刘牢之、何谦、诸葛侃、高衡、刘轨、田洛及孙无终等骁将，整合他们麾下以流民为主的军队，组成了赫赫有名的“北府兵”。北府兵战斗力极强，不仅巩固了陈郡谢氏的势力，更为江左华夏政权的存续提供了坚强的保障。
司马曜自登基以来，就一直面临氐族政权前秦的威胁，东晋西部的益州和梁州就在公元373年冬被前秦攻陷。太元以后，随着前秦天王苻坚相继灭掉前凉、代国，完成了对中国北方的统一，对东晋的觊觎之心也就更加强烈。此后秦晋交界的江淮一带形势愈发紧张，大战一触即发。
公元378年四月，前秦派苻丕攻打襄阳，荆州刺史桓冲抵御，孝武帝诏命谢玄发徐、兖、青三州人丁，遣彭城内史何谦游军淮泗以为形援。
何谦出兵是北府军的首次出战，从此以后，上下游桓、谢军队配合，彼此策应，以分前秦兵锋，形成东晋战略的一个特点，对于保障最终胜利起了重大作用。同年七月，秦军也采取东西策应的战略，秦将彭超请攻彭城，与攻襄阳之苻丕相互呼应。苻坚同意彭超的方略，并从西线分俱难、毛盛等军自襄阳东略淮阴、盱眙，与彭超等合势。
从此东晋在下游开始受到压力。到公元379年正月，襄阳失守，东晋守将朱序被俘，其后彭城、下邳、淮阴、盱眙先后并入前秦，建康告急，形势对东晋更加不利。
公元379年六月，北府兵在君川打败秦军，前秦势力被逐于淮北，建康紧急状态得以解除。尽管西线局势仍不容乐观，但君川之捷使北府兵获得锻炼，提高了士气，为应付以后主战场的东移和展开淝水之战作了必要的准备。翌年幽州爆发苻洛、苻重之乱，苻坚忙于平叛，一时无暇南侵。
公元381年十二月至次年九月，桓冲在荆州与前秦军屡有战事，或守或攻，小有收获。前秦以苻融为征南大将军，筹划攻晋。公元382年十月，苻坚将大举攻晋的计划公开于群臣，群臣大多反对，强调“谢安、桓冲皆江表伟人，君臣辑睦，内外同心”，然而苻坚志在必得，一意孤行，甚至已经安排司马曜当尚书左仆射，谢安为吏部尚书，桓冲为侍中，并在长安给他们修好府邸。