1947年，湯恩伯奉命率軍對山東解放區進行重點進攻，其第一兵團的主力——張靈甫的整編74師前進到沂蒙山區的坦埠附近，其他部隊沒有及時跟進，結果，整編74師在孟良崮高地，被解放軍華東野戰軍全殲。蔣介石的愛將張靈甫亦被擊斃。消息傳到南京。蔣介石極為震怒。蔣介石竟當着眾將領的面，勒令對孟良崮慘敗負有責任的湯恩伯跪下，舉起手杖就打，致使湯恩伯滿頭是血。
1947年3月，國民黨軍改變戰略方針，由對解放區全面進攻改為對山東，陝北解放區的重點進攻。進攻山東的國民黨軍集中24個整編師60個旅約45萬人的兵力，編成3個兵團，由陸軍總司令顧祝同指揮，採取密集靠攏、穩紮穩打的戰法，於4月上旬成弧形向魯中山區推進，企圖與華東野戰軍主力決戰於魯中或迫使其北渡黃河。華東野戰軍決心尋機殲滅進犯的國民黨軍，但除於4月下旬在泰安殲滅1個整編師外，由於國民黨軍行動謹慎而未獲戰機。針對上述情況，中國共產黨中央革命軍事委員會指示：國民黨軍密集不好打時，忍耐待機;一不要性急，二不要分兵，將主力集結於機動位置;只要主力在手，總有殲敵機會。
華東野戰軍司令員兼政治委員陳毅、副司令員粟裕遵照這一指示，於5月上旬調整部署，將主力後撤至萊蕪、新泰以東地區隱蔽待機。顧祝同得悉華東野戰軍主力撤退，即令所部向博山、沂水一線疾進。擔任右翼進攻之第1兵團司令官湯恩伯不待相鄰兵團統一行動，即以整編第74師為骨幹，在整編第25、第83師配合下，於5月11日自垛莊、桃墟地區進攻坦埠，企圖佔領沂水至蒙陰公路;另以第7軍及整編第48師北攻沂水，策應整74師作戰。華東野戰軍原擬首先集中兵力，截殲孤立、暴露之國民黨軍右翼第7軍及整48師，11日晚獲悉處於中間戰線之整74師冒進，便於就近集中主力加以割殲，當即改變決心，首先殲滅該師。
第2、第3、第7、第10縱隊分別鉗制和阻擊河陽、新泰、萊蕪地區的國民黨軍第7軍、整編第11師、第5軍等部，使其不能向整74師靠攏，而集中主力第1、第4、第6、第8、第9縱隊，實施中央突破和斷其退路，殲滅整74師於坦埠以南、孟良崮以北地區。至13日，整74師先後佔領楊家寨、馬牧池等地。當晚，華東野戰軍擔任迂迴穿插任務的第1、第8縱隊，分由整74師的兩翼尋隙向縱深楔進。第1縱隊第3師攻佔曹莊及其以北高地，構成對蒙陰整65師的正面阻擊。該縱隊主力則攻佔黃鬥頂山、天馬山、界牌等要點，切斷整74師與整25師的聯繫。第8縱隊攻佔桃花山、磊石山、鼻子山等要點，切斷了整74師與整83師的聯繫，一部佔領孟良崮東南之橫山、老貓窩。與此同時，第4、第9縱隊從正面發起攻擊，佔領黃鹿寨、佛山、馬牧池、隋家店一線。
第6縱隊從魯南銅石急速北進，於14日晨抵達觀上、白埠地區。整74師在其外圍各要點失守後，倉促向孟良崮、垛莊收縮;華東野戰軍隨即加速進攻。第4、第9縱隊經徹夜猛攻，進至唐家峪子、趙家城子一線;第6縱隊在第1縱隊一部協同下，於15日拂曉攻佔垛莊，切斷整74師的退路;第8縱隊攻佔萬泉山，同第1、第6縱隊打通聯繫，形成對整74師的四面包圍。整74師被圍後，蔣介石一面命令該師固守待援，一面嚴令整編第11、第65、第25、第83師以及第7軍、第84師等部，迅速向整74師靠攏，企圖在蒙陰、青舵寺地區合擊華東野戰軍主力。此時，向孟良崮增援的10個師多數只距離孟良崮一至兩天行程，情況十分緊急。華東野戰軍嚴令阻援部隊堅決阻住援軍，主攻部隊經調整部署後，定於15日下午發起總攻。
盂良崮主峯向西北連接兩個540高地，西北端為520高地;其東南為蘆山，東為雕窩，東西長約10公里，向北崗巒起伏直抵汶河，向南4公里為臨(沂)蒙(防)公路，該山區山峯陡峭，多懸崖絕壁，山上無水，草木甚少。整編第74師師長張靈甫在向南突圍未遂後，即以第58旅扼守主峯、蘆山、雕窩高地;以第5l旅扼守520與兩個540高地;第57旅位於兩旅之間的570(史稱600)高地：師指揮所位於東540高地，企圖憑險固守，並致電國民黨軍統帥蔣介石求援。蔣介石認為此乃與華東野戰軍決戰的良機，遂令張靈甫率部固守，並令空軍空投糧彈，同時令整編第25、第83師等10個整編(軍)向孟良崮增援。
華東野戰軍司令員兼政治委員陳毅，為迅速殲滅整74師，於當日13時調整部署後，即令部隊發起總攻。第9縱隊一部在炮火支援下，於16日8時攻佔雕窩。第4縱隊一部於攻佔330、高地後，首先楔入520高地與西540高地之間，切斷守軍退路，連續打退守軍4次反擊，與第1、第9縱隊各一部於午夜佔領520高地，殲守軍大部，其餘部撤向540高地。各部繼向西540高地發起攻擊。第4縱隊一部攀登陡峭山坡，從側後插上西540高峯，突然向守軍發起攻擊，守軍急速向東540高地潰退。張靈甫被迫率指揮所轉至570高地;—16日拂曉，整編第74師以1個連至1個團兵力在猛烈炮火掩護下，向西540高地進行連續反擊，第4縱隊堅守部隊傷亡較大，在十分危急之際，第1、第4縱隊各一部趕到，將敵擊潰。第9縱隊向東540高地攻擊的部隊遭守軍優勢兵力的反擊，攻擊受挫。
期間第8、第6縱隊於殲敵一部後，正向蘆山攻擊前進。在解放軍的猛烈攻擊下，整74師傷亡慘重，傷員、勤雜人員、騾馬、輜重滿山遍野，陣地已逞混亂。國民黨空軍投下的大批糧彈，多為解放軍所獲。蔣介石嚴令督援的8個師又2個旅，於16日上午開始向孟良崮山區靠攏，又為解放軍的阻援部隊所阻擊。此時，第9縱隊繼續以一部兵力由正北和東北向東540高地攻擊，一部向570高地和孟良崮主峯攻擊。13時，第4縱隊主力附山炮5門，向東攻擊540高地，第6縱隊一部亦由南向東540高地攻擊，戰至14時，攻佔該高地，守軍第51旅大部被殲。第8縱隊和第6縱隊一部於13時攻佔蘆山，殲守軍第58旅3000餘人。
在解放軍的猛攻下，整74師餘部被迫收縮於孟良崮、570高地及其間的凹地，隱蔽進行整頓和組織頑抗。第4、第6、第8、第9縱隊合力總攻，解放軍一縱切斷黃伯韜、張靈甫之間的聯繫。八縱、九縱形成包圍之勢。 黃伯韜見狀危急，急率整25師前來支援。張靈甫向黃伯韜撤退。解放軍切斷(整)七十四師退路，張靈甫向黃伯韜靠攏。 張靈甫被優勢解放軍壓迫，孟良崮乃光禿禿之石山，山上無水。國軍水冷式馬克沁機槍，無水不能發揮威力。解放軍彈密如飛蝗，射擊在石頭上，跳彈橫飛，一彈連傷數人。(整)七十四師損傷慘重……戰至17時，將國民黨軍精鋭“五大主力”之一整編第74師全部殲滅，張靈甫在發完最後一份電報後與副師長仁杰，旅長盧醒等集體自戕！
1947年8月由人民解放軍華東野戰軍政治部編印的《蔣軍七十四師的調查研究》一書中(五.內戰時期——從參加內戰到孟良崮全軍覆沒)記載：“5月12日自垛莊北犯我坦埠，企圖攻略沂水，甫遭接觸，即南竄孟良崮山區，我野戰大軍加以重重包圍，於5月16日，全殲該頑於孟良崮。除張靈甫、蔡仁杰、盧醒等自殺及戰鬥中擊斃七千餘名外，其官兵萬五千人悉數被俘。”張靈甫在戰死前有遺書：“十餘萬之匪向我猛撲，今日戰況更趨惡化，彈盡援絕，水糧俱無。我與仁杰決戰至最後一彈，飲訣成仁，上報國家與領袖，下答人民與部屬。老父來京未見，痛極！望善待之。幼子望養育之。玉玲吾妻，今永訣矣！”
