祖逖少輕財好俠，慨然有澄清天下之志。曾為齊王冏大司馬掾，累官太子中舍人，東海王司馬越任為典兵參軍、濟陰太守，母喪不赴。永嘉五年(311)匈奴族劉曜率漢軍攻陷洛陽，晉懷帝被俘，中原大亂，祖逖率親鄰幾百家避難南下，甘苦與共，被推為流徙的首領——行主。至泗口(今江蘇清江北)，鎮東大將軍司馬睿任命他為徐州刺史，不久徵為軍諮祭酒，移居京口(今江蘇鎮江)。上書司馬睿，力請北伐。
建興元年(313)，司馬睿以逖為奮威將軍、豫州刺史，只予一千人的糧食和三千匹布作為北伐物資，由其自募戰士，自造兵器。他帶着隨他南下的部曲百餘家北渡長江，中流擊楫宣誓：“祖逖不能清中原而復濟者，有如大江！”至淮陰後，一面冶鑄兵器。一面招募流散，得兩千多人，進屯雍丘(今河南杞縣)。當時，河南塢主各擁部曲自重，相互攻擊，依違於石勒和晉朝之間，他派人招撫，共御石勒，進克譙城(今安徽亳州)。蓬陂塢主陳川勢力較大，大掠豫州諸郡，被祖逖設伏擊潰，將所掠子女財物各歸原主，深得民心。陳川投石勒，祖逖率軍伐陳，勒遣石虎領兵五萬救援，祖逖數以奇兵擊退進犯。石勒統治的鎮戍多歸附祖逖，北方晉室將領李矩、郭默、上官巳、趙固等也願聽從指揮，九年即收復黃河以南的大部土地。祖逖軍紀嚴明;自奉儉約，不畜資產，勸督農桑，發展生產，深得百姓愛戴。歷經喪亂的中原父老説：“吾等老矣！更得父母，死將何恨！”黃河北岸塢壁羣眾向祖逖密報石勒的活動，迫使不敢南犯。石勒遣書求互市，他雖不答，卻任憑通商貿易，收利十倍。
正當他回鎮壽春，同時積極營繕虎牢關(今河南滎陽汜水鎮)，秣馬厲兵，積蓄力量，準備向北岸推進時，東晉王朝內部矛盾激化，王敦擅政，擁兵於武昌，而晉元帝司馬睿亦不甘為傀儡，積極任用刁協、戴淵等人，四方佈置。
太興四年(321)，晉元帝司馬睿派遣戴淵為徵西將軍、都督司、兗、豫、並、雍、冀六州諸軍事、司州刺史，以監督祖逖。戴淵雖然才學出眾，頗有韜略，又忠於晉朝，但因是南方人，對北伐並不積極，手下也沒有什麼精兵強將。他的職務，實際上是晉元帝為了防備大將軍王敦而作的佈置。祖逖憂慮王敦和東晉政權對立，內亂爆發，北伐難成，當年，憂憤死於雍丘。他死後王敦以為已經無敵，於是發動叛亂，於次年攻入石頭城。戴淵等援救失利，被執遇害。
王敦被平定後，朝廷又派祖逖的弟弟侍中祖約接替他的職務。祖約為人貪好財貨，短於大略，雖有祖煥、戴洋等人輔佐，但依舊屢次失敗，加上敵後的李矩等人相繼失敗，祖逖收復的土地又逐步被石勒攻佔。327年，祖約聯合蘇峻發動叛亂，失敗後投奔石勒，不久全族被害(只有一個十歲的小兒子，被祖逖從前的一個羯族部下救出)。
公元321年9月，祖逖含恨離開了人世，享年56歲。中原人民聽到祖逖逝世的消息，萬分悲痛，許多地方的民眾為他建了紀念祠堂。祖逖領導的北伐雖然沒有完全取得勝利，但打擊了胡人氣焰，使東晉王朝統治得以鞏固。他為國獻身的精神，長留青史，千百年來一直受到人們的敬仰和讚頌。
