酷暑七月，陈粟不利。
让陈毅、粟裕感到十分突然的，是毛泽东六月二十九日发来的电报：
……蒋军毫无出路，被迫采取胡宗南在陕北之战术，集中六个师于不及百里之正面向我前进。此种战术除避免歼灭及骚扰居民外，毫无作用。而其缺点则是两翼及后路异常空虚，给我以放手歼击之机会。你们应以两个至三个纵队出鲁南，先攻费县，再攻邹（邹县）、滕（滕县）、临（临城）、枣（枣庄），纵横进击，完全机动，每次以歼敌一个旅为目的。以歼敌为主，不以断其接济为主。临蒙（临沂至蒙阴）段无须控制，空费兵力。此外，你们还要以适当时机，以两个纵队经吐丝口攻占泰安，扫荡泰安以西、以南各地，亦以往来机动歼敌有生力量为目的，正面留四个纵队监视该敌，使外出两路易于得手。以上方针，是因为敌正面既然绝对集中兵力，我军便不应再继续采取集中兵力方针，而应改取分路出击其远后方之方针。其外出两路兵力，或以两纵队出鲁南，以三个纵队出鲁西亦可……
在这封电报中，毛泽东突然改变了一个月前要求陈粟不要分兵、坚持内线歼敌的方针——五月二十二日，毛泽东曾为中央军委起草致陈毅、粟裕电：
……歼灭七十四师，付出代价较多，但意义极大，证明在现地区作战，只要不性急，不分兵，是能够用各个歼击方法打破敌人进攻，取得决定胜利。而在现地区作战，是于我最为有利，于敌最为不利。现在全国各战场除山东外均已采取攻势，但这一攻势的意义，均是帮助主要战场山东打破敌人进攻。蒋管区日益扩大的人民斗争，其作用也是如此，刘邓下月出击作用也是如此。而山东方面的作战方法，是集中全部主力于济南、临沂、海州之线以北地区，准备用六七个月时间［五月起］，六七万人伤亡，各个歼灭该线之敌。该线击破之日，即是全面大胜利之时，尔后一切作战均将较为顺利……
在这封电报中，中央军委明确指出：山东战场的作战“于我最为有利，于敌最为不利”，其他战场的攻势均是为了“帮助主要战场山东打破敌人进攻”。但是在后来的电报中，中央军委要求华东野战军采取的分兵行动，目的是为了配合即将出击中原的刘邓大军作战——“我军必须在七天或十天内，以神速动作攻取泰安南北及其西方、西南方地区，打开与刘邓会师之道路，如动作过缓，则来不及。”
此时，就全国战场而言，山东依旧是国共两军对峙最严重的地区。
就军事形势而言，陈毅、粟裕承担的压力最大。
孟良崮战役虽使国民党军队损失惨重，但蒋介石并没有放弃在山东实施重点进攻的计划：“沂蒙山之战，是我们革命军人生死存亡所关的一战，挽回颓势，把握胜利，就要从这一战开始。我决定把全副精神用在这个战场上。”蒋介石采纳了他的日本军事顾问提出的“并进不如重叠，分进不如合进”的建议，将山东战场上的攻击兵团重新编组，九个整编师共二十五个整编旅被部署在莱芜至蒙阴不到五十公里的战线上，以三四个师为一个方阵，“前后重叠，交互前进，企图迫使华东野战军在鲁中山区狭窄地带迎战”。
陈毅、粟裕仔细研究了要求他们分兵出击的电报。电报虽然只提到山东当面的敌情，但既然刘邓大军即将出击，全国战局必有重大发展，于是陈毅、粟裕决定：将华东野战军主力分成三路向敌人发动攻击。具体部署是：由叶飞、陶勇率第一纵队和第四纵队组成左路兵团，越过临蒙公路向鲁南挺进；由野战军参谋长陈士榘、政治部主任唐亮率第三、第八、第十纵队组成的右路兵团，向鲁西的泰安、大汶口方向挺进；陈毅和粟裕直接指挥第二、第六、第七、第九纵队和特种兵纵队集结在沂水、悦庄公路两侧，各以少部兵力与北犯之敌接触，主力待机出击。此作战部署于七月一日开始执行。
这就是华东野战军战史上著名的“七月分兵”。
“‘七月分兵’是在未经充分准备的情况下开始的。”粟裕后来回忆道，“在接到军委六月二十九日分兵指示前，我们是按照军委五月二十二日指示，准备以七八个月时间，即在一九四七年底之前，集中全部主力在内线各个歼敌的。接到军委六月二十九日分兵指示，到全军开始行动仅有一天多时间。”
“七月分兵”导致了一系列作战不利的后果，因此也成为华东野战军战史上颇具争议的行动之一。
从当时战场局势上分析，毛泽东在大敌当前的情况下，违反一贯主张的集中优势兵力打歼灭战的军事原则，冒着被各个击破的危险而采取分兵出击的举动，无疑是配合刘邓大军强渡黄河出动中原所必须。按照当时陈粟大军所处的战场态势，坚持内线作战的可能性是存在的，因为五十多个县城在手且连成一片，又有胶东、渤海和滨海三个地区可以周旋，如果组织得当，再取得一个如同孟良崮一样的胜利不是不可能的。山东战场的大规模作战势必牵制国民党军，抑或造成国民党军为增援而进行频繁调动，若能在机动中寻机大量歼敌，将是对刘邓大军最有利的配合。但是，毛泽东担心的是时间：刘邓大军的出动时间已无法更改，必须按时对其进行强有力的军事配合；虽然陈粟大军目前还无法预测战机到来的时间，可刘邓大军已是不能等待。
六月二十八日，叶飞、陶勇的左路兵团出发了。天降大雨，官兵在泥泞中向鲁南奔袭五百华里，深深地插入了国民党军的侧后。十天之后，左路兵团开始攻击费县，一夜之间便将国民党守军全歼。天亮的时候，国民党军的飞机来了，密集的炸弹把费县炸得天翻地覆。轰炸不但给左路兵团攻击部队造成伤亡，连被俘的国民党军三十三旅旅长翟紫封也被炸死了。
左路兵团接着攻击枣庄和峄县，迫使当面国民党军退守运河。但是，当左路兵团继续西进，试图攻击滕县和邹县，控制津浦铁路徐州至兖州段时，巨大的麻烦来了。
滕县和邹县位于津浦铁路中段，是国民党军重要的物资补给站，战略防御工事极其坚固，两座县城里的守军均兵力充沛，粮弹充足。叶飞和陶勇同时对两座县城实施攻击，导致本不充裕的兵力被分散，加上攻城器材严重缺乏，弹药也因连日大雨被淋湿而失效，结果攻击持续了整整四天毫无效果。叶飞和陶勇决定放弃邹县，集中主力全力攻击滕县，但国民党军七个整编师已增援而来，左路兵团只有迅速撤离战场。
右路兵团的任务是攻击济宁和汶上。由于向泰安、大汶口攻击前进时一路顺利，于是认为攻击济宁时守军也会望风而逃。但是，在包围济宁城并占领了外廓城之后，突然发现守军不但兵力比预料的多，而且强劲的火力显示出顽强的守城决心。济宁守军为国民党军整编七十二师全部以及整编三十二、七十师各一个团，总兵力达两万余人。三纵八师奉命对内城实施攻击，守军炮火猛烈，城中街道狭窄，攻城官兵缺少防炮经验，没有在街道中筑起防御工事，结果伤亡巨大。在主攻方向东门，连续爆破连续失利，守军将城门堵塞得异常坚固，炸药根本无法接近城门，而城墙上的阻击火力密集而凶猛。三纵决定使用云梯强行攀爬城墙，部队准备了一天，七月二十日晚上继续攻城。临时制作的云梯不是太短，就是不坚固，不断被守军打断，有的云梯由于上去的人多而折断，攻击再度失利。在东南角攻击的九师一度攀登成功，突进城内七个连，但很快遭到守军的猛烈反击，突进去的部队被压缩在城内一角。守军集中炮火封锁突破口，攻击的后续部队无法增援，结果突进去的七个连的官兵全部战死。
济宁一战，三纵伤亡三千二百余人。
十纵的任务是攻击汶上县城。汶上守军为国民党军整编八十四师的两个团及地方武装，总兵力约四千余人。攻击部队认为守军战斗力不强，战斗开始前急促接近，生怕守军弃城逃跑，部队打不了歼灭战。但是，战斗一打响，守军不但没跑，而且死拼死守，这使于十五日开始的攻击连续受挫。十八日凌晨，大雨倾盆，各个方向的突破都没有进展，不得不停止攻击。十九日再攻，八十七团攻东关，突击队被守军火力压制，爆破组派出的爆破手全部在中途阵亡。八十七团的参谋长叫雷英夫，是半年前从延安总部调来的。他在延安抗大学习的时候被毛泽东看中，并推荐给了周恩来做军事秘书。雷英夫在前沿再次组织爆破，一个名叫王金石的班长请缨出击。王班长不顾一切地打开了突击道路，但他随后便在冲击中中弹牺牲。东关被占领了，但其他攻击方向依旧没有进展。在西关方向攻击的八十二团官兵抱着的炸药包冲击时，手中的炸药包被守军密集的子弹击中爆炸，全团的攻击被迫停止。二十日晚上，十纵再次组织攻击，仍然无效，天亮时，得知国民党援军已经到达。
小小的汶上县城，十纵连续攻击六天未下。
作战严重失利的还有陈毅、粟裕亲自指挥的由第二、第六、第七、第九纵队和特种兵纵队组成的正面部队。
南麻，鲁中山区的一个小小的盆地，一个令华东野战军官兵刻骨铭心的地方。
驻守南麻的是国民党军“五大主力”之一整编十一师，全师装备精良，训练有素，在宿北战役、鲁南战役、莱芜战役和孟良崮战役中都曾与共产党军队交手，从未吃过大亏。师长胡琏以作战勇猛又工于心计闻名，国民党军中对他的评价是：带兵用人唯能；作战警惕性高，企图性强；重视战前侦查；注意对手的作战特点和指挥特点，能够依据对手的不同，或是选择有利地形顽抗，或是集中兵力猛攻。
六月中旬，胡琏从新泰向东推进，中途曾发生几十名官兵因为踩上地雷而身亡的事件，也曾遭到华东野战军小股部队的阻击，但这些都没能阻止胡琏推进的决心。占领鲁村之后，原准备驻扎在这里，但是张灵甫的整编七十四师在孟良崮被歼，令胡琏变得格外小心谨慎。他认为鲁村四面环山，环山构成防御线需要众多兵力，兵力不足即会造成处处薄弱，麇集村中的数万部队一旦遭遇袭击，将面临四面受敌的危境。因此，胡琏请示徐州司令部要求移驻南麻。
迅速进驻南麻的整编十一师没有急于推进，而是在这里驻扎了二十天之久，胡琏作出十分周密的防御部署，然后督促官兵昼夜赶修工事。南麻北、西、南三面是山地，东北面是通往悦庄方向的小丘陵。北面山地上有一隘口通往博山，隘口狭窄，一个营的兵力就可以封锁自北而来的通道。这样地形可谓易守难攻。胡琏亲自带四个团驻守南麻，另外两个旅分别驻守在北麻、高庄、北刘家庄、吴家官庄等要地，这些要地靠得很近，各部队因此得以彼此靠拢。在胡琏的命令下，南麻四周方圆五公里的范围内，所有重要据点都修筑了以子母堡垒为中心的工事。这些隐蔽而坚固的工事依地形呈不规则形状，各地堡之间都有交通壕相连，交通壕上盖有厚厚的土石足以抵挡炮火的打击。每一处阵地前五百米内，所有的树木和庄稼都被砍光。在子母堡垒外围，设有三至四道鹿砦和铁丝网，还埋下了大量的地雷。由两千多个子母堡垒组成的南麻防御体系筑成后，胡琏组织了一次抗攻击演练，演练结束后他致电蒋介石，声称整编十一师是一座攻不破、摧不毁的堡垒。
应该说，选择打战斗力很强的整编十一师，是陈毅、粟裕有意为之，目的是“为了配合刘邓大军作战”，打一个像孟良崮“那样的大胜仗”。当时的战场态势也支持他们的设想，因为叶飞、陶勇和陈士榘、唐亮两路部队的分别出击，已严重威胁国民党军的后方基地，迫使鲁中的国民党军停止东犯转为西援，鲁中山区只剩下了整编第九师、整编十一师、整编二十五师和整编六十四师。陈毅和粟裕认为围歼敌人的战机已经出现。同时，孟良崮战役后，华东野战军上下士气高昂，官兵们把国民党军主力称为“硬核桃”，把杂牌部队称为“烂葡萄”，都想寻找国民党军的精锐部队作战，说是“宁啃一个硬核桃，不吃三个烂葡萄”。
如果啃掉整编十一师这个“硬核桃”，战果可就更大了。
战后，陈毅和粟裕都承认，骄傲轻敌后果严重。
华东野战军主力围歼南麻国民党守军的部署是：第九纵队在北面以一个师进至南麻与鲁村之间，断敌退路，并向东攻击，纵队主力向北麻、南麻攻击前进；第六纵队在东面以一个师控制凤凰山一线，阻击南麻可能突围之敌，纵队主力向北刘家庄和南麻攻击前进；第二纵队在东北面以一部沿悦庄向儒林集攻击，主力则向吴家官庄和南麻攻击前进；第七纵队在东面以一个师控制青泉山、于家崮一线，另一部担任阻击任务，保障攻击南麻部队的侧翼安全；鲁中军区地方武装、胶东军区和渤海军区部队在外围钳制敌人，配合主力作战。
从兵力上讲，陈毅和粟裕占据绝对优势。
七月十七日，暴雨，近敌行动因恶劣天气而受阻。第二天一早，各纵队刚一到达指定位置，还未进行充分准备，攻击就开始了。
韦国清指挥的二纵奉命攻击南麻、吴家官庄的正面阵地。十七日上午，部队向攻击位置接近的时候，暴雨肆虐，积水成河，二纵的全部人马、枪械和弹药全被泡在了水里。十八日，韦国清命令五师和六师肃清南麻外围之敌，两个师经过一天的苦战逼近了守军的主阵地。
许世友指挥九纵奉命从西北山地攻击南麻，二十五、二十六、二十七三个师冒着大雨发起进攻。二十六师一部插入南新村与鲁村之间，试图分割南麻与鲁村的联系。十八日凌晨，七十七、七十八团攻占了南麻以西的荆泉山之后，七十八团二营在七十六团的配合下攻击高庄西北的崮山高地。崮山高地是鲁村通往南麻的必经之地，周围都是不易接近的开阔地，整编十一师十八旅旅长覃道善认为有险可守，仅派出一个工兵营在此守卫。这个工兵营从来没与共产党军队作过战，缺乏实战经验和指挥经验，且官兵手中主要是工兵器材，战斗武器很少。该营营长孙敬山接到命令十分为难，但还是硬着头皮上去了。战斗一开始，工兵营就发生了混乱，当九纵官兵冲上高地时，孙营长带着他的官兵逃跑了。崮山高地可以俯瞰十八旅的全部防御阵地，崮山瞬间失守令覃道善旅长大为吃惊，急忙向胡琏报告，承认自己用兵失误，请求处分。胡琏立即乘吉普车赶到十八旅指挥所。了解情况之后，胡琏怒火满腔，说在整编十一师历史上还没有过这种临阵逃跑的先例，下令将工兵营营长枪决示众。十八旅全旅骇然，自此拼死防守。九纵各师在各自的攻击方向上都未能突破，与国民党守军在战场上形成僵持。
王必成指挥的六纵奉命攻击南麻南面的马头崮，十六师四十六团连续攻击均未奏效。再次攻击时，各连搭人梯向上攀爬，二连首先冲上崮顶，为后续部队开辟出通道。四连一班长陈来富只身突入阵地，用刺刀刺死几个敌人后，带领全班向崮顶冲击，但被崮顶的猛烈火力所压制。陈来富调整战术，绕到一座悬崖下攀登绝壁，从侧后登上了崮顶，守军因受到两面冲击而混乱。在一个小山洞洞口，陈来富发现了几具守军尸体，从尸体胳膊上的臂章上判断，这里是敌人的一个指挥所，陈来富立即组织全班对山洞展开攻击。在用手榴弹炸毁了洞里的机枪之后，一班的官兵冲进山洞，查实他们打死了胡琏师长的一个副官。战后，陈来富被六纵授予了“马头崮战斗英雄”称号，被华东野战军授予了“华东二级人民英雄”称号。
六纵十七师五十一团强渡沂河时遭到数倍守军的反击，敌人配合反击的火炮多达二十门，五十一团全团被迫卷入残酷的背水一战中。一连长张家富牺牲，接替他指挥的三位排长都相继负伤。二连长给营长写了张字条，表示宁可战死不后退一步。八连和七连被敌人分割，战至最后仅剩两名战士，两名战士打光子弹后也牺牲了。当交战双方都付出了五百多人的伤亡时，五十一团幸存的官兵开始后撤。王必成调来四百多副担架抢运伤员，担架队白天过河时遭到飞机轰炸，伤亡的人数再次陡增。
与此同时，十八师各团向柴粮山的攻击也严重受挫。大雨滂沱，夜色漆黑，攻击部队被恶劣的天气和守军的火力所压制，天亮之后又遭到飞机的猛烈轰炸。攻击持续整整三天，柴粮山高地四周到处是逐渐腐烂的尸体。
华东野战军主力对南麻的攻击已显露出失利的迹象。
南麻受到攻击之后，胡琏向徐州司令部求援，国民党军整编二十五师和整编六十四师的四个旅奉命向南麻增援。增援部队指挥官黄百韬记取了在孟良崮增援缓慢的教训，深知如果这次再不全力推进，必定受到严厉制裁，于是面对七纵的顽强阻击，国民党军在猛烈炮火的掩护下，采用三个营为一个冲击单位的滚动式战法，一批垮下来，另一批立即出动，持续不断，昼夜不停，导致七纵官兵每分每秒都陷于苦战之中。
此时，攻击南麻正面阵地的二纵也陷入了极大的困境。胡琏的子母堡垒给攻击带来的困难远远超出他们的预想。这种堡垒的特点是外围利用鹿砦、铁丝网、照明设备以及大量的地雷和集束手榴弹给予攻击部队极大的杀伤，而在堡垒的中心则隐蔽着大量的反击兵力，当攻击势头减弱之后，以中心堡垒为引领的反击立即开始，与其相连的小堡垒则进行两侧的火力打击。胡琏制定的防御策略是：当受到攻击时，利用外围阵地，以小兵力向攻击部队进行袭击，迫使攻击部队过早展开，等到攻击部队占领前沿之后，立即组织纵深优势兵力集中一点进行反击，反击时必须使用炮火反复延伸射击，以密集的火网给予攻击部队严重杀伤，然后坚决恢复前沿。胡琏甚至还鼓励部队使用假投降等手段，配合阵地内的隐蔽火力突然开火射击。二纵官兵在以往的战斗中从未遇到这样的子母堡垒，也很少遇到如此顽强的作战对手，一时间攻击面临着严重的困境，部队的伤亡远远超出歼敌数量。六师师长滕海清指挥部队攻击石线山，瓢泼大雨中，爆破组在敌人密集的火力网中向子母地堡接近，伤亡惨重。十六团二营四连在向子母堡实施爆破时，一个排的守军突然手持冲锋枪从侧面的地堡中反击而出，四连在两面夹击下同样伤亡惨重。六连奉命前往支援，二排长孙继先率先冲入敌阵展开肉搏战，战士们在他的带领下与敌人混战在一起。子弹打光了就拼刺刀，刺刀弯了就拉响最后一颗手榴弹与敌人同归于尽，血水和雨水在泥泞的战场上横流。十几个敌人把孙继先围住，高喊“抓活的”，孙继先拉响了一颗燃烧弹，然后纵身扑向敌人。二排还活着的官兵在大雨中眼看着他粉身碎骨，心如刀绞。十五团六连班长李志远在相继炸毁四座子母堡后牺牲，他被泥浆包裹着的身体因多处被炸已经无法辨认。十三团三营长冯福林脱下满是泥和血的军衣，赤膊上阵，连续爆破，最后也中弹倒下。
南麻战役是解放战争中代价十分惨重的一次战役。
战斗结束后，九纵伤亡四千多人，六纵伤亡两千多人，负责正面攻击的二纵伤亡四千多人，其中六师十六团二营只剩下二十多人，十七团有的连队从战场上只下来六七个人，其中的八连只活下来两个人。
南麻战役进行了整整五个昼夜，歼灭国民党守军一个团。
七月二十日，国民党军增援部队突破华东野战军阻击部队的防线。
二十一日晚，陈毅、粟裕下达了撤出战斗的命令。
撤出南麻地区的部队奉命北移到临朐西南地区休整。
但是，此时临朐已被国民党军整编第八师占领，陈毅、粟裕向胶济线以北转移的通道被阻断了。
情报显示，进入临朐的是整编第八师的先头部队，师主力尚未到达。而且，敌人还没有来得及构筑防御工事。陈毅、粟裕认为，应该抓住此一战机，将整编第八师的先头部队歼灭，以鼓舞士气。于是，命令第六、第九纵队围攻临朐，第七纵队负责阻援——一向作战周密谨慎的粟裕，在部队刚刚遭遇重大伤亡的情况下，决定再次发起攻坚战斗，这不仅具有相当大的冒险性，还显示出一种无法克制的急躁。
临朐三面环山一面环水，平时可以徒涉的沂河和弥河因天降大雨河水暴涨，导致临朐城外一片汪洋。
二十四日，离南麻战役结束仅仅过去两天，攻击部队在大雨中再次准备出击。二十五日拂晓，第六、第七、第九纵队到达临朐城外时，获悉整编第八师主力已经先于他们进入临朐——如果说在整编第八师主力尚未到达的时候，对临朐的攻击还具有趁敌未稳的突袭性，那么在敌人主力到达之后依然发起攻击就显得十分冒险了。但是，粟裕的决心没有改变。
二十六日，攻击开始。
临朐外围守军营长在剧烈的枪声中逃回城内，即刻被整编第八师师长李弥枪毙——李弥决心拼尽全力死守临朐。
攻城部队突击南关，对城墙实施爆破时，因炸药受潮，连续五次送上去的炸药包都没有响。夜晚，部队再一次实施突击爆破，终于将城墙炸开了一个口子，十四团一下子冲进去七个连，但突破口很快就被守军封堵，两个团的守军进行猛烈反击，突进去的部队坚持了三小时后全部伤亡。
二十九日，二纵、六纵、九纵队联合发动攻击，但攻击依然受挫。
此时，国民党军整编第九师和整编六十四师已经临近。
三十日，部队经过五天五夜的战斗，极度疲劳，伤亡巨大，已面临所承担的作战任务的极限，且“平地水深过膝”，粮食供应和伤员转运都十分困难。粟裕被迫下达撤出战斗的命令，部队开始向诸城方向转移。
临朐成为又一个南麻。
南麻、临朐战斗的接连失利，使原来设想的左、右两路部队南北夹击国民党军的计划已无法实现，不但令陈毅和粟裕的正面战线出现前所未有的危机，也给侧翼出击的兵团带来了极大的危险。
左路兵团一纵和四纵，因孤悬于敌后，被国民党军紧追不放。叶飞和陶勇在监听国民党军的无线电话时，发现一纵被称为“西瓜”，四纵被称为“面包”，而敌人来往通话中充斥着“吃西瓜、啃面包”之类的狂妄之言——国民党军的五个整编师开始合围一纵和四纵，后续赶来的三个整编师也在急速接近。可以说，左路兵团已经身陷重围。
陈毅和粟裕万分焦虑，迫切希望他们东返。从当时的情况看，向北、向南突围无望，西面是敌人重兵把守的津浦路，只有向东渡过沂河进入沂蒙山是唯一的出路。但是，此时，山洪暴发，沂水上涨，无法徒涉，况且国民党军也知华东野战军只能向东，已经做好了迎击的准备。叶飞和陶勇彻夜研究，认为绝不能向东进入敌人的伏击圈，遂决定出敌意外，向西突破津浦路，寻求与右路兵团部队会合的可能。
为了顺利地向西突围，必须先让一支部队向东佯动，“这支部队必须是强有力的，这才能造成主力东去的声势；而且又必须是具有牺牲精神的，在敌人重围之中，很可能遭受重大伤亡，甚至为主力突围而牺牲”。陶勇提出让四纵彭德清的十二师承担这一危险的任务。叶飞后来回忆说：“一、四纵队的部队，过去经常吵架。有时狭路相逢，少不了争前恐后，互不相让。互相有点看不起，因为都是主力部队，什么时候总要争个高低。但配合作战一直很好，总感到同是新四军的部队，不能丢人现眼。这种感情确是微妙得很。它绝不是山头主义，也不是小团体主义，也不是风头主义，而是渗透着阶级友爱的革命英雄主义。所以在严重关头，团结一致，显示了自我牺牲精神。”
七月二十四日，两个纵队开始向东移动，并与国民党军整编第七师和整编四十八师激战一日。国民党军急调增援部队一齐向东压来。大部队向东突围的假象已经造成，彭德清师继续向东接近沂河，而一纵和四纵主力则趁机掉头向西而去。二十八日晚，在滕县以南，他们跨过津浦铁路进入了鲁南。
……那是独山湖水网地带，七八十里路汪洋一片。部队全部暴露，任由敌机疯狂扫射。连绵阴雨，被服装具全部湿透，鞋袜全无，赤脚在水荡或泥泞里行进。村庄已被国民党军队和还乡团抢掠一空，粮秣无着。到处散布着还乡团的地主反动武装，不时响起冷枪，突然飞来流弹。确是吃尽了苦头，受到了考验，部队遭受很大损失，非战斗减员不少。有一次过河，水流湍急，谭启龙（一纵副政治委员）同志骑的马力气小，加上过度疲劳，一个浪头涌来，连人带马都给冲走了。刚巧我在一边，顺手一把拉住，否则，恐怕他就见马克思去了。部队极为狼狈，空着肚子行军作战，疲劳程度是无法形容的，倒在路边的泥坑里就睡着了，炮弹和炸弹的交替爆炸也唤不醒我们……
八月一日，突围部队终于在鲁西南泗水附近与和右路兵团部队会合时。野战军参谋长陈士榘看到一纵和四纵的官兵“身上除了短裤、背心和枪支子弹袋之外，什么都没有了。他们浑身泥水，脚板都泡烂了，许多人还流着血。”在这种情况下，一纵和四纵的战士们仅仅提出了这样的要求：“发一双鞋子，睡一个好觉，吃一顿猪肉。”
此时，右路兵团的第十纵队奉命在梁山地区阻击国民党军整编第五师和整编八十四师。他们得到的指令是：“你们十纵队的屁股只能朝北，不能朝南。”以一个纵队对付两个整编师，十纵兵力明显处于劣势。但是这支部队以打阻击闻名，孟良崮战役中，就是他们挡住了整编第五师的增援。
梁山，唐宋时黄河溃决，形成大泽，故又称“梁山泊”。如今，虽然八百里水面已经消退，但大雨又使这里成为一片沼泽。在阻击国民党军的战斗中，十纵水里跑火里钻，阵地在残酷的拉锯战中反复易手，官兵们撤退了又粘上来，与敌人的两个整编师围着梁山纠缠不休。最后，他们被强敌挤进黄河与运河交叉的狭窄的三角地带。整编第五师师长邱清泉向蒋介石报告说，共军的第十纵队已在五师囊中。
十纵的突围行动十分壮烈。面对只有北渡黄河才能脱险的绝境，官兵毅然决然地向那条在暴雨狂啸的大河扑去。没有渡河器材，也没有船只，背后三面敌人合围而来，天上的敌机狂轰滥炸。担任阻击的部队誓死坚守，决心打到最后一个人，主力部队则在轰炸下拼死强渡。十三日，敌人终于冲到黄河南岸，纵队的侦察营、部分机关干部、勤杂人员、大量的伤员以及四千多民工、数百匹骡马被国民党军截住。除了侦察营少数官兵突出来之外，其余大部分人员被俘或失散。
“七月分兵”以来，山东战场各部队连续作战失利，导致国民党军占领了胶济线，作为华东野战军重要的物资基地和数万名伤员安置地的胶东地区也面临被占领的危险。特别严重的是，在持续近两个月的战斗中，陈粟大军战斗减员和非战斗减员总计高达五万人，是华东野战军组建以来前所未有的损失。
八月六日，毛泽东亲自起草了中央军委电报：
刘邓，陈粟，并请转告陈（陈士榘）唐（唐亮）叶（叶飞）陶（陶勇）：
目前整个形势对我有利，敌已分散，我已集中。敌机动兵力分置于鲁中、运东（运河以东）、陇海三处，加以鲁西敌新受巨创，士气不振，我则以一部牵制鲁中之敌，主力位于鲁西南；敌虽想从运河陇海两线向鲁西南进攻，但估计短时间内尚不可能；敌目前既怕你们全力向东攻邱（邱清泉）欧（欧震），又怕你们全力向南攻陇海。在此情况下，你们全军可以安全休整十天内外，鼓励士气，整顿队势，以利争取新胜利。此次华东各部虽有几仗未打好，但完成了集中兵力、分散敌人之巨大任务。待陈粟率野直及六纵到郓（郓城）巨（巨野），我军实力更厚，领导更强，对于争取新胜利极为有利。中央特向你们致慰问之意，并问全军将士安好。
中央
未（八月）鱼（六日）
八月四日，粟裕起草了关于南麻、临朐战役的初步总结电报。电报详细分析了“七月分兵”后，华东野战军在战略战术上的不足之处；同时强调，对整个反攻局势和前途过分乐观的估计是造成失利的重要原因——“……认为敌之重点进攻已被粉碎……在具体部署上亦着重于截断敌人退路。但敌人并未退窜……七月分兵，失去重点……既无足够打援部队，即不能取得充分的攻坚时间……过去九个纵队集中使用时，每战只要求歼敌一个整师，与歼其援队之一部或大部。但此次分兵之后，由于过分乐观和轻敌所致，仍作歼敌一个师［南麻］与对付其援队之打算，故兵力与要求不相称，致不能取胜……过去敌人不敢增援，但近来……较前大为积极，其增援队攻击甚猛。而我军之重心则又置于攻坚方面，故南麻临朐两役均因援队逼近而撤回。”陈毅和谭震林看后，都有不同意见，认为在战略上没有问题，是“军事部署上的错误与战术上的不讲究”。因为意见不一，粟裕起草的初步总结电报未能发出，他当即另行起草了一封短电发给中央军委。作为战役的主要指挥者，粟裕认为自己应对作战失利负责：
中央军委并华东局：
自五月下旬以来，时逾两月，无战绩可言，而南麻临朐等役均未打好，且遭巨大之消耗，影响战局甚大。言念如此，五内如焚。此外，除战略指导及其他原因我应负责外，而战役组织上当有不少缺点及错误，我应负全责，为此请求给予应得之处分。至整个作战之检讨，俟取得一致意见后再作详报。
粟
八月四日午时
陈毅为粟裕的自责深感不安，认为作战不利不能让一人承担责任，有必要与谭震林、粟裕坐在一起把这个问题谈清楚。
但是，谭震林要率第二、第七纵队去胶东休整。临走，谭震林给粟裕留下一封信，他在信中指出“数十万大军的指挥，如果不能看远是很危险的”；同时认为“如果拿五仗未打好的主要原因放在乐观这点上去检讨是不能把问题彻底弄清的”。
粟裕在给谭震林的回信中，承认军事指挥和作战部署上存在错误，但他坚持认为“过分乐观”是作战失利的主要原因之一：“由于过分乐观而发生轻敌，由于轻敌而企图‘啃硬核桃’，企图‘一锅煮’，企图歼灭十一师后乘胜歼二十五、六十四等师，而与叶陶各纵会师蒙阴。因此部署上就以攻坚为主，而不以打援为主……”在回信的最后，粟裕表示：“一切军事部署上、战术指导上的缺点、弱点和错误，我应负其全责。今后当遵照你的来信及时地加以改正，并诚恳地接受你对我的帮助……”
野战军指挥部转移到郭店之后，陈毅与粟裕做了彻夜长谈。
史料中没有那夜长谈的记录，但可以肯定，长谈尽显共产党人知人克己的气度，这从档案里留存的八月六日陈毅发给中央军委的长电中即可看出：
（一）……最近粟、我共谈，粟态度可佩，昨夜长谈，对今后共同工作很有好处。
（二）我认为我党二十多年来创造杰出军事家并不多。最近粟裕、陈赓等先后脱颖而出，前程远大，将与彭［德怀］、刘［伯承］、林［彪］并肩迈进，这是我党与人民的伟大收获。两仗未全胜，彼此共同有责，不足为病。谭、我本此观点，互相研究教训，粟亦同意……
（三）我本挽三人共谈，谭因东行，故谭未参加。谭临行遗书，此书临别我看了一遍，对粟有帮助……我们对战役指导部署历来由粟负责。过去常胜者为此。最近几仗，事前我亦无预见，事中亦无匡救，事后应共同负责，故力取教训以便再战。军事上一二失利实难避免，虚心接受必为更大胜利之基础……
陈毅只有一个目的：领导爬起来。
胜败交替是战争的一般规律。陈毅说：“先打几个胜仗，又碰了钉子，又打了几个胜仗”，“我党二十余年的历史也是胜败的反复，胜利了便轻敌，种下栽跟头的因素，失败又是胜利的因素。领导上主要是在栽跟头之后，如何领导爬起来”。
三十日，毛泽东给陈毅、粟裕发来了一封绝密电报。电报措辞严厉地批评陈粟大军“在惠民留驻时间太久”，“二十多天毫无积极行动”。而当前国民党军各部“均向刘邓压迫甚紧，刘邓有不能在大别山立脚之势，务望严令陈（陈士榘）唐（唐亮）积极歼敌，你们立即渡河并以全力贯注配合刘邓”。
毛泽东的电报令陈毅和粟裕清晰地理解了此刻关系到战争全局的作战意图：除留下内线部队坚持与国民党军纠缠之外，华东野战军主力要和刘邓大军一样直插中原，搅乱国民党控制区，完成战争的战略转变。
华东野战军立即于鲁西南发动了沙土集战役。
九月三日，华东野战军第一、第三、第四、第六、第八、第十纵与特种兵纵队以及晋冀鲁豫野战军第十一纵队，全部云集在菏泽以东的沙土集地区。
战役目标是：围歼沙土集附近的国民党军整编五十七师。
陈粟部的连续失利给国民党军造成一个巨大的错觉，认为山东的共产党军队“已溃不成军，不堪再战”，且“南有陇海路，东有津浦路，北面和西面有黄河”，共产党军队已处在“四面被围，无路可走”的境地。于是，自孟良崮失利以来国民党军的谨慎变成了骄狂——“一个团也敢成一路尾追我们。”此时，国民党军依旧认为陈粟部在向北逃窜。于是，以整编第五师为中路，整编八十四师为右翼，整编五十七师为左翼，其余部队为策应，协同向北追击。九月五日，整编第五师进至郓城以南一线，整编八十四师到达巨野附近，整编五十七师六十旅进至郓城西南一线，其一一七旅位于六十旅的右侧。七日，整编五十七师与整编第五师之间拉开了大约二十公里的间隔。
粟裕的部署是：北线第三纵队，以一部钳制整编第五师，切断该师与整编五十七师的联系，主力由东北向西南方向攻击；第六纵队在第三纵队右侧攻击，以求夹击围歼整编五十七师于新兴集以北地区；南线第八纵队由南向北攻击沙土集；第四纵队负责阻击整编第五师可能的西援，以求彻底割裂整编第五师与整编五十七师的联系；晋冀鲁豫第十一纵队对整编六十八师所在的菏泽方向进行警戒；第十纵队控制郓城以南阵地，协同第四纵队阻击整编第五师。第一纵队为战役预备队。
七日黄昏，攻击部队对整编五十七师形成合围。
八日，总攻开始。沙土集四周地势平坦开阔，攻击部队没有任何掩护，官兵们冒着敌人的炮火冲击前进。这是没有悬念的一战。华东野战军的攻击兵力至少大于整编五十七师四倍以上。夜幕降临时，三纵从北面破寨。接着，八纵从东南方向、六纵从西北角相继突入。三个纵队的猛烈攻击致使守敌迅速压缩，整编五十七师中将师长段霖茂率百人卫队化装突围，刚一出村便成为俘虏。凌晨三时，守军因无心再战纷纷投降。
沙土集一战，歼灭国民党军整编五十七师师部和两个旅共九千五百余人，其中俘虏七千五百余人。华东野战军攻击部队伤亡和失踪两千三百人。战后，国民党方面检讨道：“本作战，国军在各战场抽调兵力，逐次投入鲁西南地区……但因协调联络不足，多次形成孤立，遭匪袭击，整五十七师更因友军救援不及，在沙土集覆没。”
沙土集战斗结束三天之后，毛泽东致电陈毅、粟裕：“郓城、沙土集歼灭五十七师全部之大胜利，对于整个南线战局之发展有极大意义，特向西兵团全军将士致庆贺与慰问之忱。”
沙土集一战改变了陈毅、粟裕部的被动局面，迫使国民党军从山东内线战场和刘邓大军周围抽调回四个整编师。此后，在中国辽阔的中原地带，一个影响到整个战争进程的新局面产生了。