到达泗口（治今江苏徐州）后，祖逖被琅琊王司马睿任命为徐州刺史，不久又被征为军谘祭酒，率部屯驻京口（治今江苏镇江）。建兴元年（313年），晋愍帝司马邺即位，侍中、左丞相、大都督司马睿主政，命祖逖等率兵赴洛阳勤王。当时，豫州（今河南大部）地区主要有两股势力为大；一股是羯族首领的石勒部，一股是汉族的坞堡（非人名，是部落首领代称）部。
他们互相联系，表面依附晋朝，暗中对晋使绊子，八王之乱末期，这两部分人马后来逐渐归后赵石勒统一指挥，多次与晋军发生对峙，时有摩擦。司马睿偏安一隅，根本无意北伐。祖逖进言道：“晋室之乱，并不是皇帝无道，百姓造反，而是藩王争权夺利，自相残杀，给了夷狄可乘之机。如今北地百姓备受蹂躏，都有奋起反击之志。大王如能命将出师，让祖逖等人为统领，江北豪杰必定会望风响应，沦亡人士也会欢欣鼓舞。
如此，也许可以申雪国耻”。司马睿尽管不愿意北伐，但又不想公开反对，以免落下恶名。极不情愿的给了祖逖一个“奋威将军、豫州刺史”的空头名誉。又象征性的拨给他千人粮饷、三千匹布帛，让他“自募兵士，自造兵器”。司马睿的消极态度，并未动摇祖逖的北伐决心。缺兵少粮，尚可想法子，没有兵器如何打仗？祖逖率领跟随自己南下的宗族、旧部百余家，毅然从京口渡江北上，并在大江之中，用力拍击船楫，立誓说“如果不能扫平中原，祖逖就像江水一样，有去无回”。
他们渡过长江后，暂时驻扎在淮阴，开始起炉冶铁，锻铸兵器，又招募到士兵二千多人，祖逖同时训兵备战。建兴四年（316年），晋愍帝司马邺被汉（前赵）文帝刘渊俘虏。西晋灭亡，司马睿在建邺（今南京）称帝，史称东晋。祖逖的军队得到江北老百姓大力支持，捐款捐粮，很快打下了安徽北部及河南南部豫皖地区。祖逖用离间计，引诱张平部将谢浮。
谢浮借与张平商讨军情之机，杀死张平，率众归降。祖逖进据太丘，围困谯城（今安徽亳州），对谯城守将晓以利害，樊雅于是率众出城归降。太兴二年（319年），祖逖进一步北伐，他宣布：原参加胡人（少数民族，这里指石勒羯族）队伍的人，愿意参加晋北伐军的欢迎，不愿参加的回去好好干活，继续参加胡人的坚决打击。陈留（今开封东）有一个叫恶霸叫陈川的，投靠了石勒。
祖逖就坚决予以打击，石勒的弟弟石虎率兵增援，被祖逖伏兵打败，陈川捉到后，被处以极刑。大大震慑地方豪强势力，很多人不敢明面上和石勒军联系。祖逖杀了陈川，攻下浚仪（今河南开封），镇守雍丘（今属开封）。祖逖喜欢用怀柔、攻心之术。祖逖礼贤下士，善于体恤民情，即使是关系疏远、地位低下之人，也能施布恩信，予以礼遇。
