１９３７年全國抗戰爆發后，羅炳輝曾以八路軍副參謀長名義，在八路軍武漢辦事處從事統一戰線工作。１９３９年１月任新四軍第１支隊副司令員，５月任第５支隊司令員，率部開辟皖東抗日根據地。曾指揮部隊三打來安縣城，沉重打擊了“掃蕩”、搶糧的日偽軍。１９４０年任新四軍江北指揮部副指揮兼第５支隊司令員。１９４１年起任新四軍第２師副師長、師長兼淮南軍區司令員等職，率部轉戰于淮河以南、長江以北的津浦鐵路兩側，積極開展抗日游擊戰爭，為鞏固和擴大淮南抗日根據地作出了重要貢獻。他注意從嚴治軍，言傳身教，強化官兵的戰術技術訓練，全面提高部隊戰斗力。親自編寫了《指揮員實用手冊》《民兵戰術》等教材，并經常給基層指揮員上軍事課。

１９４５年８月初，羅炳輝雖身患重病，仍親臨前線指揮所部參加大反攻，解放了蘇皖邊界的六合、定遠、嘉山、天長等城鎮。９月，任新四軍第２縱隊司令員，率部趕赴魯南，參加界河伏擊戰，攻克韓莊，粉碎了國民黨軍從徐州沿津浦鐵路北上、進犯解放區的企圖。１９４６年４月，任新四軍第二副軍長兼山東軍區副司令員。６月，在國民黨軍發動全面內戰前夕，到棗莊前線指揮作戰。２１日在返回臨沂途經蘭陵時突然病情惡化，不幸逝世。

羅炳輝用畢生的精力實現了自己的諾言：“人生最快慰的是真正勇敢地犧牲個人的一切利益，最熱誠努力地為民族獨立、自由、解放而斗爭。尤其要為勞動大眾的解放和利益，以真理、正義、公道為人類的幸福而斗爭。”