根據中央軍委的指示，兩大野戰軍開始在軍事、政治和物質保障等方面進行認真準備，深入研究作戰計劃。為全力做好支前和后勤保障工作，安徽、山東、河南、江蘇、河北5省有關地區的黨組織深入發動群眾，動員了大批人力物力，組成了數百萬民工的支前大軍，在糧食、彈藥、被服、醫療、運輸、建立兵站糧站以及俘虜的收容管理等各個方面作了全面充分的準備。

我軍在完成了戰役的各項準備后，華野、中野報經中央軍委批準，于11月6日晚正式發起了淮海戰役。

圍殲黃伯韜

11月5日，蔣介石派參謀總長顧祝同飛赴徐州，召開作戰會議，調整兵力部署，確定收縮計劃，并規定各部隊于次日行動。6日，敵各兵團在空軍的掩護下開始行動。徐州“剿總”命令遠在海州的四十四軍沿隴海線西撤，改歸黃伯韜指揮，令黃伯韜兵團在新安鎮地區等待四十四軍到達后，一起向徐州方向收縮。

6日晚，我兩大野戰軍按照既定部署，向徐州東西兩面的敵軍逼近并相繼發起攻擊。華野主力向隴海路東段疾進，主要突擊集團以迅雷不及掩耳之勢直撲新安鎮、阿湖地區的黃伯韜兵團。人民解放軍各部同時行動，使敵人無法判斷我軍的真實目標，徐州“剿總”總司令劉峙錯誤判斷我軍的主力意在攻取徐州，他一方面連續向蔣介石發電告急，一方面慌忙調徐州以東曹八集地區的李彌兵團和徐州以西碭山地區的邱清泉兵團立即向徐州收縮，同時命令已經進至蒙城的孫元良兵團折返徐州，加強防御。

黃伯韜等待四十四軍到達后，于7日率六十四、二十五、一OO、四十四軍沿隴海線西撤，六十三軍擔任側翼掩護。我華野主力8日占領新安鎮地區，發現黃伯韜兵團正在向西逃跑，野戰軍首長立即命令各縱隊調轉方向，急速前進，追擊敵人。同時嚴令我山東兵團，排除一切困難，立即插向徐州以東之大廟、大許家、曹八集地區，堅決截斷黃伯韜兵團的退路，切斷其與徐州的聯系。主力部隊沿隴海鐵路南北分為兩路，在“活捉黃伯韜，全殲黃兵團”口號的鼓舞下，晝夜兼程，勇猛追擊。

山東兵團按預定計劃，于8日突破敵人防線，進逼賈汪。恰在此時，我埋伏在敵人內部的地下黨員，國民黨第三綏靖區副司令官何基灃、張克俠率領其所屬的五十九軍全部和七十七軍大部共2.3萬人在賈汪、臺兒莊舉行戰場起義，徐州之敵頓時大亂，徐州北部、東北部的門戶洞開。山東兵團乘機迅速穿過起義部隊的防區，直插徐州東側的預定目標。這一突然的變故大出敵人所料，守敵在好似突降天兵的解放軍面前頓時亂作一團，山東兵團各部在激戰中擊敗守敵和黃伯韜兵團的先頭部隊，于11日拂曉占領了曹八集，隨后與北進的第十一縱隊會合于徐州以東的大廟、候集地區，不僅完全切斷了黃伯韜兵團的退路，而且占據了阻擊徐州東援之敵的有利地形。這時，尾追而至的華野主力乘敵人混亂之際，展開猛烈攻擊。至11月11日，黃伯韜兵團的四個軍被全部包圍、壓縮在以碾莊圩為中心的縱橫十余公里的狹窄地區內。擔任側翼掩護任務的敵六十三軍被我軍包圍后于12日拂曉被全殲，軍長陳章被擊斃。