在转战三吴的几年中，刘裕屡充先锋，每战挫敌，其军事干略得到初步显露。他不仅作战勇猛，披坚执锐，冲锋陷阵，且指挥有方，富有智谋，善于以少胜多。当时诸将纵兵暴掠，涂炭百姓，独有刘裕治军整肃，法纪严明]。他率水军继续追讨孙恩，迫使其投海而死。
孙恩起兵，消耗了晋廷兵力，造成京防空虚，这给盘踞长江上游军事重镇荆州、虎视三吴的桓玄以可乘之机。
公元402年，骠骑大将军司马元显率军西讨桓玄，桓玄也率荆楚大军南攻司马元显。司马元显派刘牢之抵御，刘裕也随军前往。刘牢之率部到达溧州时，遭遇桓玄所部，刘裕请求发起攻击，未得同意。刘牢之打算派刘敬宣到桓玄营中讲和，遭到刘裕与刘牢之的外甥何无忌联袂坚决谏阻，刘牢之不听。桓玄攻入建康，杀司马元显，收夺刘牢之兵权，以其堂兄桓修代之。刘牢之惧祸而逃，后自缢身亡。刘裕审时度势，暂投桓玄以行韬晦。由于刘裕屡建军功，于北府旧部中颇有声望，故桓玄也不敢小视他，任命他为中兵参军。
公元403年初，孙恩的妹夫卢循再次起事。五月，桓玄派刘裕讨伐，杀其大帅张士道。卢循渡海南逃，刘裕因功被加封为彭城内史。十二月，桓玄篡位，对司徒王谧说道：“昨日看见刘裕，气度不凡，是人中豪杰。”于是更对刘裕款待备至，恩宠有加。
桓玄的妻子刘氏颇能识人，她多次劝桓玄除掉刘裕，但桓玄却以要借刘裕荡平中原为由拒绝。同时，桓玄称帝后为消除隐患，欲瓦解北府兵，大力剿杀北府兵旧将，北府军几乎遭到灭顶之灾。正在桓玄盘算之际，刘裕也在暗中和北府兵残余兵将联络，伺机反攻桓玄。
公元404年二月，刘裕以打猎为名，聚集北府兵残余兵将一千七百余人，在京口举兵起义，歼灭了桓楚在此的兵力，杀死桓修。接着，众人推刘裕为盟主，传檄四方，各地纷起响应。
桓玄自从获悉刘裕率众起义后，成天忧心忡忡，想不出对策。有人说道：“刘裕等力量弱小，哪里具备成气候的力量，陛下何必担忧呢？”
桓玄回答说道：“朕看刘裕堪称当代雄才；刘毅家无多少储蓄，却像掷骰子一样捐出百万；何无忌，刘牢之的外甥，很像他舅舅。他们联合起来，共举大事，怎能说他们不会成功呢？”
桓玄先派手下猛将吴甫之及皇甫敷带领精兵抵抗刘裕，刘裕先于江乘杀吴甫之，至江乘以南的罗落桥时奋力作战，又杀皇甫敷，继续进攻。