一九四七年六月三十日，冀鲁豫大平原上皓月当空。
在黄河中下游河南与山东交界处，一声炮响之后，自临濮至张秋镇约一百五十公里的河段上，晋冀鲁豫野战军十余万人马开始由北向南强渡黄河。
横亘于中国国土中部的这条大河，以浑黄的河水举世闻名，更以凶险的水情让任何一支试图跨越它向对岸实施攻击的军队望而却步。因为中原地理位置的格外重要，这条大河自中国的春秋时期起，便目睹了无数次惨烈的战争景象。但是，对于一九四七年六月间的那个夜晚，无论事后的叙述使用了怎样壮怀的词汇，当时的情景却完全出乎晋冀鲁豫野战军将领们的预料。
新华社记者李普现场报道：
沿岸八个县的水手，都参加了渡河工作。自从解放军开始渡河以来，蒋介石的飞机日夜频繁骚扰，但未能阻止我大军前进。船只分大小两种，于去年十一月开始建造，大的可以载运十轮大卡车两辆，小的可以载运三四十个人。水手们兴奋地谈说三十日晚上的动人情景：那天，第一次载运突击队的时候，大家悄悄地、紧张地动作着。河这边看着表，从开始到突击队抵达对岸放信号枪，恰恰是五分钟。有许多渡口是在猛烈的炮火下强渡的。在我经过的这个渡口，由一部分蒋军和还乡团防守，那天晚上蒋军们逃得很快，蒋介石的忠实走狗还乡团还在做梦。等到他们知晓的时候，已经做了俘虏。解放军就是这样在五分钟之内粉碎了被蒋介石吹嘘的黄河天险等于四十万大军的神话。当记者和水手们谈起蒋介石的这个神话的时候，他们都莫不哈哈大笑。他们都是黄河上乘风破浪的老把式，他们展开了立功运动，看谁的船快，谁渡的次数多。十年前他们驶着船来往于济南、开封之间，他们说：等到把这两个地方解放后，就有生意做，黄河又要活跃起来了。
黄河的临濮至张秋镇段，是国民党军分割山东解放区与晋冀鲁豫解放区的边界。至少就防御而言，他们有充分理由在此部署巨大的兵力，以利用黄河天堑“防止共产党军队在被压缩得很狭窄的区域中流窜出来”。但是，由整编五十五师和整编六十八师共同构成的河防防线形同虚设。
晋冀鲁豫野战军主力强渡黄河的那天，国民党方面正在开会讨论是否对共产党“正式颁布讨伐令”。没有史料确切地表明国民党的高官大员们对黄河岸边发生的军事行动有过分的惊骇。蒋介石最初的判断是：“刘、邓向北流窜不成，企图向南夺路。”参谋总长陈诚的语气更是轻描淡写：“共军刘伯承回窜鲁西，对战局稍有影响。”倒是毫无作战经验的美国驻华大使司徒雷登预感到了什么，他坚持认为共产党军队在这个月圆之夜南渡黄河的行动“绝非好兆头”。
这确实是共产党人精心策划的一次意义重大的军事行动。
为了“将战争引向国民党区域”，共产党人制定了三军挺进，“经略中原”的战略部署：以晋冀鲁豫野战军主力，由司令员刘伯承、政治委员邓小平指挥，从国民党军南线的中部实施突破，攻占鲁西南，跃进大别山，以淮河以南、长江以北、平汉路以东、淮南铁路以西为作战范围。这路作战部队通称“刘邓大军”。以晋冀鲁豫野战军一部，由第四纵队司令员陈赓、政治委员谢富治指挥，从晋南南渡黄河，挺进豫西，以黄河、渭水以南、汉水以北、平汉路以西、西安以东为作战范围。这路作战部队通称“陈谢大军”。以华东野战军主力，由司令员兼政治委员陈毅、副司令员粟裕指挥，挺进鲁西南，进军豫皖苏边区，以黄河以南、淮河以北、平汉路以东、运河以西为作战范围。这路作战部队通称“陈粟大军”。
共产党人的三路大军呈“品”字形配合作战，目标直指国土腹地的国民党控制区域。
从解放区内部向外线出击，从战略防御转为战略进攻，突击的矛头首先指向哪里？共产党人的选择是：大别山。刘伯承说：“大别山，雄峙于国民党首都南京与长江中游重要城市武汉之间鄂、豫、皖三省交界处，是敌人战略最敏感而又最薄弱的地区。这里又曾经是一块老革命根据地，有经过长期革命斗争锻炼的广大群众，多年来一直有我们的游击队坚持斗争，我们容易立足生根。我军占据大别山，就可以东慑南京，西逼武汉，南扼长江，瞰制中原。‘卧榻之旁，岂容他人鼾睡’？蒋介石必然会调动其进攻山东、陕北的部队回援，同我们争夺这块战略要地，这就恰恰可以达到我们预期的战略目的。”
毛泽东致电刘邓大军：采取跃进的进攻形式，“下决心不要后方”，长驱直入，一举插进敌人的战略纵深，“占领大别山为中心的数十县”，建立革命根据地，“吸引敌人向我进攻打运动战”。
不要后方的军事行动是孤注一掷的行动。
七月四日黄昏，刘伯承和邓小平在寿张县蔡楼渡口乘坐一条大木船渡过了黄河。星垂旷野，月映中流。半渡时，天上来了飞机，投下的照明弹将黄河河面照得如同白昼。刘伯承和邓小平让船工们别害怕，说这是蒋介石怕咱们夜间渡河看不见特地来点灯了。船工们起劲地划桨。船靠南岸之后，刘伯承和邓小平立刻消失在夜色中。船工们聚集在一起，很是感慨了一番，说共产党队伍里有这样的将军定能成大事。正说着，一个小兵跑了回来，怀里抱着一大块猪肉，说这是刚才渡河的首长给船工们的谢礼。
晋冀鲁豫野战军主力强渡黄河后，为堵塞黄河南线已被扯开的防御缺口，国民党军紧急做出应对部署：从豫北调整编三十二、六十六师，从皖西北调整编六十三师一五三旅，从豫皖苏地区调整编五十八师的两个旅，连同鲁西南地区的整编七十师，统一归属从鲁中调来的第二兵团司令官王敬久指挥，分两路向鲁西南的定陶、巨野方向推进。同时，命第四绥靖区司令官刘汝明部的整编五十五师和整编六十八师，死守黄河以南的郓城与菏泽地区。国民党军的军事调动出自一个简单明了的目的：以一部死守定陶和郓城，吸引刘邓部主力，待其久攻不下时，东、西两路展开钳形攻势，将刘邓部主力压缩于陇海路、黄河与大运河的三角地带，使之或者背水决战，或者退回黄河以北。
此刻，蒋介石并没有判明刘邓大军主力南渡黄河的真实意图。
刘伯承和邓小平渡过黄河后，住进一个名叫河西的村子。房东是个老实忠厚的农民，叫包承章，全家四口，六间砖泥房。主人把其中的四间腾出来，打扫干净，摆上了一张八仙桌和一把茶壶、几只茶碗。刘邓大军指挥部的电话和电台设在包承章家旁边的包承全家里，两家之间是一小片茂盛的桑树林，指挥部的汽车就隐蔽在林子里。刘伯承穿着灰色的军衣，邓小平穿着白色的衬衣，俩人坐在包承章家院子里的大槐树下，战士们向主人讨来些开水，并在桌子上的茶盘里放了些冰糖块。一群衣衫破旧的孩子在他们身边玩耍吵闹，刘伯承和邓小平偶尔停下正在商量的事，招呼着孩子们，往他们黑乎乎的小手里塞块冰糖。
此时，晋冀鲁豫野战军主力已全部渡过黄河。他们是：第一纵队，辖一、二、十九、二十旅，司令员杨勇、政治委员苏振华；第二纵队，辖四、五、六旅，司令员陈再道、政治委员王维刚；第三纵队，辖七、八、九旅，司令员陈锡联、政治委员彭涛；第六纵队，辖十六、十七、十八旅，司令员王近山、政治委员杜义德。还有晋冀鲁豫军区独立一旅，旅长蔡爱卿、政治委员崔健功。
刘伯承、邓小平向中央军委报告了南渡黄河的总兵力：十二万三千五百一十八人。
十二万大军渡过黄河，向国民党军迎面扑来，发生于中原的剧烈战斗已是不可避免。
刘邓大军的意图是：利用东路来敌尚未到达作战区域之机，抢先攻击兵力较弱的西路来敌，以使突入中原的部队建立一个能够站住脚的战场。具体作战部署是：一纵四个旅攻击郓城，六纵和二纵的一个旅攻击定陶，二纵的两个旅攻击曹县，其余部队担负穿插掩护任务。
郓城是鲁西南的一座古城，作战双方都对这座古城感兴趣的原因是：晋冀鲁豫野战军希望以攻击行动吸引国民党军主力来援，以创造各个击破的战机；而国民党军企图通过对郓城的顽强防御，将晋冀鲁豫野战军主力牵制于城下，给东、西两路部队赢得形成钳击的运动时间。
郓城城防工事坚固，砖质城墙高七米以上，四座城门都建有碉堡群，街巷中的火力体系也相当完备。守军为国民党军整编五十五师。
七月四日黄昏，一纵对郓城发起了猛烈的攻击，国民党守军很快就发现，利用郓城的坚固工事迫使晋冀鲁豫野战军盘桓于此的希望十分渺茫。攻击的炮声骤然响起时，正在召集军事会议的整编五十五师师长曹福霖立即命令军官们迅速返回部队，但往回跑的军官近三分之一因被炮火所伤未能到达指挥位置。侥幸安全返回城南关的八十七团代理团长余克浚立即部署防御作战。他把他的部队分成三个梯队，还特别为可能发生在壕沟里的肉搏战做了准备。八十七团的作战部署刚刚下达，猛烈的炮火就把团部的围寨轰开了，紧跟着一纵的官兵冲了进来，余团长几乎还没有反应过来就被俘了。余克浚放下武器走出团部，看到十几名共产党士兵整齐地站在门外，“四周的工事里也整齐地伏着战士的行列”。——“这使我十分佩服，这是我理想中的好队伍，二十年来我所梦想的就是这样的队伍。”
在一纵二十旅拿下南关的同时，一旅也占领了城西关。
七日黄昏，当接近城墙的交通壕全部挖好之后，总攻开始了。在炮火掩护下，一纵二十旅突击队突上了城墙，但是遭到守军的凶猛反击。一旅一团六连连续爆破，终于把城墙外的鹿砦炸开一个大缺口。八班长温好然头部中弹，依旧抱着炸药包往上冲，冲到外壕边沿时，他的手部再次中弹。连长命令他下去包扎，他死也不肯。在随部队登城时，温班长的腰部再次中弹，倒下去的时候他朝战士们喊：“赶快进去打敌人！进去千万不要犯纪律！”温班长平时对战士很好，新战士哭了起来。副班长万祥勋说：“别哭！找敌人算账去！我只要不死就一定领着大家干！”守军的反击十分顽强，打到跟前还不肯放下武器。九连一排长孙先居带领的小组伤亡很大，他恼火了，一跃而起，竟然抓起正在射击的两挺机枪的枪管，硬是把守军的机枪抢了过来。
一纵各旅相继突破后，进入城内沿着街巷顽强攻击，目标直指设在城中教堂里的整编五十五师师部。
当师部受到攻击的时候，师长曹福霖换上便衣，与少数随从一起，秘密地从城东关逃出，一路向东逃到了嘉祥。但副师长理明亚没有如此幸运，他潜逃出去之后，在城外的庄稼地里被配合作战的民兵发现。他说他是伙夫，民兵们不信，因为他有一支漂亮的美式手枪，民兵们说：“如果不说实话就用刺刀穿了你。”理副师长立即坦白了自己的身份。当他交出财物时，民兵们拒绝了，说共产党有政策，只缴他的枪不缴他的金子。民兵们将他带回村里，给他做了一碗白面面条，理明亚吃面条时，看见这些支持共产党军队作战的民兵们啃的是粗粮野菜馍馍，一时间感动得难以言表。第二天他被送到了晋冀鲁豫野战军司令部。
郓城战斗结束后，刘伯承、邓小平总结了城市攻坚作战的制胜要点：“攻城突击点的选择，应在敌人最忽略的地方。为使选定之突击点不过早被敌发现，他方以积极佯动吸引敌人”。“步炮兵指挥员均架有电话，交通情报非常顺畅灵通及时；步兵与炮兵在进展中，炮兵火力始终保持在步兵前面二十公尺的地方，轰击敌人为步兵开路”。“为防止一个突破口不能成功，亦可选定数个突破口，但于一个突破口成功后，位于其他突破口的突击部队，应立即转向成功之突破口，协同夹击敌人，扩大此一突破口”，“如此即须事先令各突击部队对每个突破口之地形道路有详慎之侦察与熟悉”。
一纵攻击郓城之时，六纵开始攻击定陶。定陶国民党守军为整编六十三师一五三旅。七月十日晚，六纵十六旅四十七团从东门、十八旅五十二团从北门同时发起进攻，五个小时后，部队攻入城内将守军分割围歼。
战斗中，一位被子弹击中跌下云梯的排长的伤势令包括刘伯承、邓小平在内野战军官兵们格外牵挂。这个农民出身的大个子排长二十六岁，曾在国民党军中当了六年机枪手，抗战胜利后，在一次国共军队冲突时被俘，随后留在了共产党军队里。他不善言辞，性格憨厚，高兴的时候喜欢摆弄自己的机枪，能蒙着眼睛把一挺最新式的机枪快速分解成零件，然后又飞速地重新装配起来，不高兴的时候，他就说些“共产党就几条破枪，根本打不过国民党”和“共产党干部就会收买人心，明天上战场还不是拿着匣子枪逼你去拼命”之类的怪话。官兵们都说他是“最难改造的那种大头兵”。一九四六年冬季里的一天，连队指导员让他讲讲曾经受过的苦，大个子顿时哭了起来。他是安徽阜阳水围子人，五岁那年，父亲因拖欠租子被地主打断腿，爬回家没几天就死了。他家的房子被地主顶了租，母亲带着他和弟弟到处流浪讨饭。十七岁那年，保长把他抓到国民党军队里。因为担心母亲和弟弟，他逃过三次，每次被抓回来都被打个半死。他有生以来第一次对别人倾诉自己的苦难，官兵们说一定要找到那个地主算账。部队打兰封时，他的机枪枪管都打红了。战后指导员表扬他作战勇敢，他坦诚地说战斗开始前他想溜号，因为在国民党军队时长官说共军打仗都让俘虏兵打头阵送死。但是，他亲眼看见了，战斗中干部们都冲在最前面。他说：“人心都是肉长的，以后看我的。”很快，他当了班长入了党。在一次战斗中，他带领全班面对国民党军的疯狂攻击，坚守阵地一个昼夜，不但守住了阵地，而且全班无一伤亡。他的班被评为“模范战斗班”，他被评为“杀敌英雄”，他的名字出现在一九四六年十二月十日的《解放日报》上。报纸上写道：“党的教育，使王克勤从一个蒋介石手下的愚昧的奴隶，转而与广大人民相结合，很快地变成一员智仁勇全备的人民战士。”部队强渡黄河前，行军到一个村庄，由于这里是游击区，百姓们对共产党军队不了解，房东大娘带着儿媳妇躲了起来。王克勤和战士们睡在院子外，连房东家的一根草都没有动。第二天出发的时候，他发现自己的挎包里多了十二个煮鸡蛋和一包香烟。他把一块银元留在房东家的桌子上，还留下了一张字条：“我们知道您的儿子被国民党抓去当兵了，我们一定把他救出来！”在把鸡蛋和香烟分给战士们的时候，王克勤想起了自己生死不明的母亲，他说：“记住，咱们要为人民打仗，要当人民的儿子！”七月十日晚上，他提着一筐手榴弹往城墙上爬，国民党守军的子弹击中他的胸部，他一下子从云梯上跌下来，腿也摔断了。王克勤坐在地上，一只手捂着冒血的伤口，一只手握着信号枪，直到看见突破口被打开，在发射了报告突击成功的信号弹之后，他才倒下。战士陈群背着他往救护所跑，在救护所他醒来了片刻，他对陈群说：“我包袱里的几件衣服，分给大家吧，战斗打下来，大家缺衣服穿。”由于伤势严重，救护所紧急安排担架往后方转运，王克勤在担架上又苏醒了片刻，这一次，他对陈群提出了个要求：“替我给毛主席写封信，就说是共产党把我救了……”立志要当人民的儿子的大个子排长王克勤死在了担架上。
一九四七年七月十八日，晋冀鲁豫野战军司令员刘伯承撰写了《悼念王克勤同志》一文：“王克勤同志一年来建立了很多战功，树立起战斗与训练、技术与勇敢结合的为我全军所学习的新的进步的范例。我们对于他这种为人民立功不顾一切奋勇杀敌的牺牲精神和高尚品质，表示无限的崇敬。”
“做人民的儿子”，这是无论从伦理上还是从道理上，都令国民党军困惑不已的说法。而更令国民党军恐惧的是，成千上万的贫苦百姓宁愿牺牲一切，也要支援共产党军队作战。刘邓大军强渡黄河南下的时候，黄河北岸解放区的支前民工多达百万，仅随军行动的担架队员和运输队员就达八万。鲁西南的百姓自己吃糠咽菜，却为晋冀鲁豫野战军准备了数量充足的物资，仅巨南县，三天之内就把一百四十万斤面粉送到了前沿。百姓们说：“哪怕十天不睡觉，也要让部队吃饱饭！”巨南县的妇女十五天内缝制了两万两千多双鞋子送到官兵们手中。共产党军队攻打郓城的时候，由民兵组成的战场外围封锁线长达百余里，村村设岗，昼夜巡逻，令溃败的国民党官兵几乎无路可逃。
郓城、定陶失守之后，国民党军收缩了战线。第二兵团司令官王敬久判断：共军不是西取菏泽，便是东取济宁。于是，他将整编七十师调到巨野东南的六营集，将整编三十二师调到金乡以北的独山集，将整编六十六师调到金乡西北的羊山集，自己则率指挥所和炮兵营到达了金乡。国民党军在菏泽与济宁之间摆成了一条长约五十公里的长阵。
此时的第二兵团是临时拼凑在一起的，王敬久对自己指挥的部队基本都不了解。但是，金乡是他的老家。回到老家的王敬久心情不错，因为他修建的一座新居已接近完工。七月十二日，就在他大宴宾客庆祝新居落成的时候，突然传来消息，晋冀鲁豫野战军已出现在整编七十师驻地六营集附近，有分割国民党军的企图。王敬久立即命令整编七十师南移，向位于独山集的整编三十二师靠拢。可是，没过多久，传来了整编七十师移动受阻的消息。王敬久立即改变主意，命令独山集的整编三十二师北移，向六营集的整编七十师靠拢。王敬久的意图是：不管刘邓部的意图是什么，先让自己的部队收拢了再说。
王敬久摆出的长蛇阵是个容易被各个击破的部署，而且他为他的部队选择的集结位置同样危机四伏，除了整编六十六师所在的羊山集外，其余各部队都驻扎在地形狭窄的村庄里，即使装备优势也无从发挥。于是，晋冀鲁豫野战军主力决定对王敬久部展开攻击：一纵负责切割王敬久部各师之间的联系，然后攻击位于独山集的整编三十二师；六纵协同一纵作战。二纵协同三纵围歼位于羊山集的整编六十六师。独立第一、第二旅负责阻击金乡的整编五十八师可能的增援。
王敬久比自己的部队收缩得快，他很快就跑到济宁城里去了。
七月十三日，整编三十二师从独山集出动，企图向六营集的整编七十师靠拢，但却受到一纵的猛烈阻击。由于一纵的兵力不足，整编三十二师除一三九旅遭遇重创外，师部和一四一旅终于进入六营集，与整编七十师会合。
六营集是个仅有两百多户人家的小村子，房屋多为土筑，根本无法抵挡炮火的攻击。时值酷暑，国民党军两个整编师的数万人马挤在一起，缺粮少水，未战先乱。整编三十二师师长唐永良与整编七十师师长陈颐鼎商量，决定向东北面的嘉祥突围。但是，王敬久指挥部来电，命令“坚不准动”。十四日早晨，指挥部再次来电，命令“两师并进”，经独山集解整编六十六师羊山集之围。十四日整整一天，突围战斗没有取得任何进展。傍晚，王敬久的命令再次到达，这次是要求唐永良和陈颐鼎死守待援。然而，就在这时，一纵和六纵的总攻开始了。
这是一个闷热而混乱的夜晚。
六营集的北、西、南三个方向同时受到攻击。在持续不断的剧烈的枪炮声中，唐永良发现东面的战斗似乎微弱一些，于是认定那里是共军攻击的薄弱环节，立即命令所有部队集中向东突围。六营集的东面是一片很大的开阔地，国民党军蜂拥而出的时候并没有遭遇猛烈的拦截。但是，没有走多远，唐永良就后悔了：这里是共军有意留出的一个缺口，缺口外是一个早已布置好的大口袋。
“兵无斗志，将帅恐慌，是整个国民党军的膏肓之症。”在战斗中被俘的整编七十师上校参谋处长刘学基说，“刘伯承渡河后，我们王（王敬久）兵团的参谋部就手忙脚乱，朝令夕改，莫知所措了。弄得我们各级参谋人员，日夜拿着小红旗面对军用地图，不知该往哪里插。上下一样，两眼漆黑，人人皆知有敌情，但谁也不知解放军意图何在。有人说攻下郓城取菏泽，有人说攻下郓城取济宁，直到四日郓城被围吃紧，我师集结金乡后，将帅依然争论不休。五日奉命转进嘉祥，但夜达纸坊街时，忽又命令转到济宁。连夜马不停蹄，六日赶到济宁，人困马乏。九日又奉命进驻嘉祥。待十一日进抵杨官屯后，忽闻羊山集六十六师被围，于是全部人马大吃一惊。”——整编七十师接受美式装备训练足足一年半，刚上战场就陷入慌张混乱的调动中，它最终覆灭的时刻来临了。
当时天黑，大家争着往外跑，一出六营集不到十公尺，班长就找不到士兵了。人喊马叫，枪声从四面八方打过来，乱兵像疯人一样，向东跑一阵，一听枪声，又转身向西跑一阵，炮车、弹药、驮骡、马骑、牛车全部失掉管制，那真是乱兵、乱将、乱人、乱马、乱车、乱炮、乱冲、乱撞、乱喊、乱叫。彩号病号和被撞倒挤倒了的人，都来不及重新站起来，就被人马活活踏死……一七七团二营营长江树屏负伤卧倒，被师长的马踏死，而正副师长也终于丢掉了帽子之后，身边只剩下一个卫兵而被俘。
十五日天亮时，除整编三十二师师长唐永良带领少数随从突出去之外，包括整编三十二师一三九旅旅长唐化南在内的三千五百名国民党军被打死，被俘者达一万五千人之多，其中有整编七十师中将师长陈颐鼎和少将副师长罗哲东。
没过多久，惊魂未定的陈颐鼎和罗哲东接到了赴宴的邀请。宴请他们的是晋冀鲁豫军区副参谋长王世英，王世英与他们两人是黄埔军校的同学。酒过三巡，罗哲东回忆起大革命时期的生活：“那个时候，革命军的士气是什么样子？与现在你们一样。革命军的人数很少，只有几杆破枪，把北洋军阀打垮了……那时候黄埔同学一见面，就问谁当了烈士，没有一个人怕死，以死为光荣。可是今天，这些东西都一去不复返了。”
接下来，攻击羊山集的战斗异常残酷。
蒋介石认为，刘邓部队连续作战，伤亡巨大，已是强弩之末。只要整编六十六师在羊山集把共军主力牵制住，待各路增援部队迅速到达后，就可形成与刘邓主力决战的态势。于是，他一面命令整编六十六师师长宋瑞珂死守羊山集，一面命令国民党军各路增援部队向羊山集快速集结。
羊山集的名字来自羊山。本是一马平川的鲁西南平原，在金乡和嘉祥一带突隆起几个小山包，羊山便是其中之一。小山下是个有着上千户人口的大村子，村庄四周是日伪占领时期修建的很深的壕沟。整编六十六师进入羊山集后，连日的大雨使壕沟里灌满了水，依山环水的地势使这里易守难攻。
对于刘伯承和邓小平来讲，迅速攻下羊山集就可掌握战场主动，如果久攻不克，就会面临被各路国民党军增援部队围歼的危险。国民党军陆军总部徐州司令部参谋长郭汝瑰在日记中记述道：“羊山集命运决于此数日内，如共军不能将其攻下，则鲁西会战共军即系失败。”
七月十一日，王敬久亲赴羊山集检查防御。
十五日，晋冀鲁豫野战军第二、第三纵队开始了对羊山集的攻击。
整编六十六师系国民党军嫡系部队，老兵多，作战顽强，火力强劲，当晋冀鲁豫官兵已经攻进村时，整编六十六师组织起猛烈的反击，很快就夺回了被占领的阵地。为了尽快解决战斗，二纵和三纵不断加强攻击力量，不顾一切地反复冲锋，部队出现巨大的伤亡。三纵八旅二十二团屡次攻击无效，二营长吴锡山决心一死。他给团长徐学忠打电话说，如果我牺牲了，所有的钱都交党费，还要通知我的母亲。放下电话，吴锡山便率领全营再次发起冲锋，冲在最前面的他很快中弹身亡。二十三团和二十四团也在占领阵地后因无法坚持退了下来。二纵六旅曾在羊山集的西南角打开了突破口，国民党守军一度退到十字街的核心阵地，但是由于没有控制制高点，突击部队受到敌人侧射火力的猛烈射击。旅长周发田组织人员冲上去，去抢牺牲烈士的遗体，从他面前抬走的每一个人他都异常熟悉：十八团一营营长刘佩均、副营长王春成，二营教导员马瑞昌，三营副营长马金柱，作战参谋曹振东……
负责打阻击的六纵十六旅被紧急调来羊山集。在向羊山集开进的途中，尤太忠旅长看见沿途的玉米地里躺着二纵的伤员还没有转运下去，就命令部队组织抢运，而自己先去二纵指挥所向陈再道司令员报到。十六旅的官兵抢救伤员时心神不定，因为他们的任务是攻击羊山集，干部们催促战士快走，战士们却舍不得把伤员扔下。尤太忠旅长知道二纵和三纵这几天攻击受挫，但十六旅此刻的作战条件也不成熟，至少部队连地形都还没弄清楚呢。可是，当听说国民党军的增援部队就要赶到时，尤太忠毫不犹豫地决定当晚发动攻击，并指定作战能力很强的四十六团担任主攻。
四十六团对羊山集的攻击过程，成为这支部队幸存者终生都感到遗憾的一件往事。炮火还没有上来，团长唐明春要求准备之后再发动攻击，但是他得到了“大局之下准备牺牲”的命令。国民党守军的火力十分凶猛，没有炮就只能用炸药包去炸。一营十几个人的工兵班轮番爆破，敌人的火力点没有炸掉几个，这个班很快就全班阵亡了。整整一个晚上，尤太忠的望远镜就没有放下过，他反复交代前沿部队：抓住了阵地就要巩固！不要被反下来！能占多少算多少！
四十六团二连长张天才，长脸，大眼睛，样子憨厚，打起仗来却胆子奇大，动不动就要刺刀见红。在攻下两个前沿阵地后，由于后续部队没跟上来，张天才奉命原地等待。此时，他的连队抓的七十多名俘虏成了累赘，由于牺牲，连队人已很少，既要看守阵地，还要看管俘虏。敌人再次进攻的时候，俘虏突然开始抢夺枪支，国民党守军趁机冲击，年仅二十一岁的张天才连长被乱枪击中。连长的阵亡令早已严重减员的二连无法组织起有效的作战，还活着的官兵开始往下撤。正向这里赶来的后续部队看见前面撤了，也开始往回撤，他们不知道，国民党守军的火力跟着就追射过来——这是令四十六团老兵不堪回首的往事。四十六团拼尽了全力。全团阵亡排以上干部十三人，战士六十五人，干部受伤三十四名，战士受伤四百四十八人。张天才连长的二连活下来的只有负伤的机枪班长和四名战士。挑着白馒头往阵地送饭的炊事员，看见遍布在战场上的尸体号啕大哭，任谁劝也劝不住，这个老兵坐在地上哭了很长时间。
天像被连日的炮火打漏了一样，大雨数日倾泻不止，整个羊山集一片泥泞，壕沟里的水已经齐胸高。攻击部队的官兵只穿一条裤衩站在壕沟里，个子矮的只在水面上露出一个脑袋。伤员的伤口被雨水泡得发白溃烂，大雨令运送工作无法进行。那些战死者的尸体在积水中很快腐烂，发出令人窒息的气味。
大雨中，蒋介石的专机降落在开封机场。
蒋介石严令宋瑞珂死守羊山集，严令王敬久立即率整编五十八师和整编六十六师一九九旅北渡万福河增援羊山集。同时，从西安和潼关急调整编第十师、骑兵第一旅，从洛阳急调青年军二〇六师，从豫北急调整编四十师、从武汉急调整编五十二师八十二旅，从鲁中急调整编第五、第七、四十八、八十五师，由第四兵团司令官王仲廉统一指挥，驰援羊山集，蒋介石知道战事已经到了最后关头，抓住刘邓部久攻不利的机会，就有可能制造一个将十多万共产党军队彻底歼灭的军事奇迹。
刘伯承和邓小平调整了作战部署，决定在继续攻击羊山集的同时，抽调一纵十九旅和冀鲁豫军区部队在万福河北岸阻击援敌，适时放开一个缺口，让从金乡增援而来的整编六十六师一九九旅北渡万福河，然后立即切断该旅与随后跟进的整编五十八师的联系，集中主力将敌一九九旅全部吃掉。
二十二日，王敬久对整编五十八师师长鲁道源说：“六十六师是陈诚的基本部队，你必须去解围，否则陈参谋总长不会饶恕你。”同时，王敬久还向一九九旅旅长王仕翘下达了最后的命令：限即日十二时到达羊山集，否则军法从事。鲁道源师长在传达这个命令时还附加了一句：“不按时到达，就枪毙旅长。”旅长王仕翘在前进不能后有督战的情况下心情绝望：“还是让我自杀了吧！有我在你们也跟着下不了台，我死了你们可以自己去寻找出路！”向羊山集开进的王旅长没有自杀，当他发现万福河北岸出现了一个缺口时，立即命令部队攻击前进。一九九旅刚过万福河，就发现与后面的鲁道源师长失去了联系，连一直紧跟在身后的督战队也没了踪影。王仕翘意识到：自己的后路被堵死了。这时，他接到报告说，羊山集里的一个团已经突击而出迎接他了。王旅长只好率领部队硬着头皮继续前进。滂沱大雨中，一九九旅受到晋冀鲁豫野战军突然发起的猛烈攻击。只一会工夫，五九五团团长王鸿诏被打死，副旅长何竹负伤后被俘，王仕翘只身一人藏在一片高粱地里，很快就被搜查出来。王旅长对共产党官兵说：“昨晚我算了卦，知道今天不吉利！”
整编五十八师见势不妙，退回金乡去了。
刘伯承、邓小平的对手已处于不利之势。国民党军各路援军虽多，但或被阻击，或尚在途中，或消极观望，而羊山集里的宋瑞珂部已是弹尽粮绝。蒋介石感慨宋瑞珂坚守羊山集整整两个星期，“实属党国中坚”。七月二十五日，深陷绝境的宋瑞珂接到了蒋介石的电报：“羊山集苦战，中正闻之，忧心如焚。望吾弟转告部下官兵及诸同僚，目前虽处于危急之际，亦应固守到底。希吾弟赖上帝庇护，争取最后五分钟之胜利。”
刘伯承和邓小平上了羊山集前沿。
刘伯承问纵队指挥员“看了地形了没有”？有人回答“没有”。刘伯承火了：“歼敌三千，自损八百，仗打得太蠢！一个指挥员不仅要负歼敌三千之责，也要负自损八百之责！”
二十七日，连绵的大雨骤然停止。傍晚，晋冀鲁豫野战军主力对羊山集的最后总攻开始了。野炮、山炮、榴弹炮集中火力猛烈轰击，轰击的时间长达四十分钟，羊山集变成了一片火海。各路攻击部队在炮火的掩护下，相继突破了国民党守军当面防线。整整一个晚上，交战双方的官兵纠缠在一起奋力厮打，咒骂声、呼喊声、呻吟声直至凌晨才稍有平息。天亮后，在飞机的助战下，国民党残余部队开始突围，但是，羊山集已经被晋冀鲁豫野战军围得密不透风。
伤亡巨大的二纵六旅官兵一心要抓到宋瑞珂。十八团一营教导员韩镜发现羊山集村东北角一座带院墙的楼房像是指挥所，立即命令二连指导员葛玉霞带领这个连仅剩的三十多名官兵前去攻打这座楼。二连的攻击刚刚开始，楼里面就跑出来一个军官，喊：“不要打了！我们投降！”这个名叫郭雨林的军官是整编六十六师的参谋长。他投降后对葛玉霞说：“里面还有长官。”
一个小个子军官走了出来，向葛玉霞敬了个礼，他就是整编六十六师中将师长宋瑞珂。与宋瑞珂一起走出来的还有：副师长王开石、一八五旅旅长涂涣陶、一八五旅参谋长马权之、五五三团团长罗玉腾、五五四团团长李祝生。
二十七日夜半，羊山集北侧石头山之制高点被攻占。当即召集各旅、团长及幕僚人员、直属营长研究对策。一八五旅旅长涂焕陶说，逐屋守备，还可支持三天。我说羊山集制高点已被占领，全村情况了如指掌，已成瓮中之鳖，最多支持到次日中午。涂乃坚持逐屋守备。通信营长陈光复原想建议于天亮之前突出去，见涂坚持要守，未便说出。天亮之后，大雨倾盆，仍继续战斗。到二十八日下午，西北方向已被突破。我认为继续战斗下去，徒招致双方更多的伤亡，乃派一中尉附员浙江嘉善人某［姓名记不起］由羊山集东端出去找解放军的一个连指导员进来，表示停止战斗。
宋瑞珂，一九四六年四月内战爆发前，他在汉口与共产党代表签订“中原停战协定”；但是，仅仅两个月后，他率部首先围攻中原军区李先念的部队。宋师长被俘后说：“你们包围得太紧，简直无路可走。炮火猛烈得使我们抬不起头来。我住的房子也落了很多炮弹，只差这么一点一切都完了……如果不是报着‘固守待援’的心理，早就不打了。可是援兵呢？一纸空文。”
羊山集战斗，国民党军整编三十二师距整编六十六师只有五公里，整编七十师距整编六十六师只有十公里，但是，各路友军临阵脱逃致使整编六十六师被歼。蒋介石下令将第四兵团司令官王仲廉撤职查办，将整编三十二师师长唐永良送交军事法庭。国民党军陆军徐州总司令部参谋长郭汝瑰说：“宋瑞珂在此支持两星期之久可谓难能。王敬久以两师距宋十公里而不能救，王仲廉二十二日即已集中完毕开始前进，徘徊于冉堌集数日，如两王均于二十四日以后真面目攻击，则局面必大异于今日。余深知国民党腐败，王仲廉等均只知弄钱。”——谁都知道，一旦到了“文官贪财，武官怕死”的地步，任何事情都不可挽救，可是现在国民党军的武官不但怕死，而且“只知弄钱”，这仗还怎么打？
历时二十八天的鲁西南战役，晋冀鲁豫野战军共歼灭国民党军四个整编师师部及九个半旅，收复黄河南岸的大片地区。
此战，在中国人民解放军战史中被称为“战略进攻的序幕”：“鲁西南战役，是刘邓大军外线出击、进军中原的首战。它的胜利，粉碎了蒋介石的黄河战略，迫使其从陕北、山东、豫北各地抽调八个整编师驰援鲁西南，从而打乱了国民党军的战略部署，有力地配合了陕北、山东两战场人民解放军粉碎国民党军重点进攻的作战，揭开了全国解放战争由战略防御转入战略进攻的序幕。”
攻克羊山集的当日，刘伯承、邓小平鉴于部队连续作战，消耗很大，尤其是弹药消耗一时无法得到补充，致电中央军委，提出在陇海路南北机动两个月左右，同时积累南下所需物资和经费，之后直下大别山。
一天以后，毛泽东发来一封被邓小平称为“极秘密的电报”，电报的抬头很是郑重：刘伯承、邓小平，陈毅、粟裕、谭振林，华东局，邯郸局，并告陈赓、谢富治及彭德怀。毛泽东在电报中基本同意刘伯承、邓小平提出的“保持后方接济，争取大量歼敌，两个月后看情况”，但是接下来的话却令他们颇为震动：
……现陕北情况甚为困难［已面告陈赓］，如陈谢及刘邓不能在两个月内以自己有效行动调动胡军一部，协助陕北打开局面，致陕北不能支持，则两个月后胡军主力可能东调，你们困难亦将增加……
局势的危机很清楚：如果陈谢部和刘邓部不能及时向外线出击，以调动向解放区进攻的国民党军，特别是不能调动正在全力进攻陕北的胡宗南部主力，则很可能导致“陕北不能支持”。
“陕北不能支持”，共产党中央将到哪里去？
七月三十日，刘伯承、邓小平回电：
连日我们再三考虑军委梗（二十三日）电方针，确好顷奉艳［七月二十九日］电，决心于休整半月出动，以适应全局之需。照现在情况，我们当面有敌十九个旅，至少有十个旅会尾我行动，故我不宜仍在豫皖苏，而以直趋大别山，先与陈谢集团成掎角势，实行宽大机动为宜。准备无后方作战。
多年后，邓小平回忆说：“当时我们二话没说，立即复电，半个月后行动，跃进到敌人后方去，直出大别山。”
从鲁西南到大别山，直线距离也在一千公里以上。沿途必须通过的是国民党控制区，目的地是国民党控制区的腹地。刘伯承和邓小平把可能遇到的困难预想了一遍，但是他们依旧没能料到即将开始的大军南下将是怎样一段艰辛而危险的征程。