南线局势依旧不乐观。
问题的核心还是大别山。
大别山位居中原，中原地跨河南、湖北、江苏、安徽、陕西五省，平汉、津浦与陇海铁路贯穿其间，对于全国战场而言，中原的战略地位异常重要。
刘邓大军进入大别山后，立即遭到白崇禧的大军围攻。历来与蒋介石矛盾重重的白崇禧，这次执行蒋介石的命令异常坚决，因为华中地区是他的老巢。白崇禧动用了三十万兵力，攻击的势头十分猛烈，随着包围圈逐渐压缩，刘邓大军面临着严峻的局面。
这是一个巨大的矛盾：千里突进敌人据守的战略要害地域，是典型的外线作战，其目的是尽可能大量地吸引国民党军主力，以利全国其他战场的战局；但是，从刘邓大军所处的局部上讲，面临的又是新的内线作战，因为必须在强大的攻击下生存下去，否则建立和巩固根据地无从谈起。令刘邓和他们的官兵们痛苦的是，生存下去的唯一的办法不是作战而是避战，因为无论从兵力还是装备上讲，他们都无法与合围而来的国民党军抗衡。
在大别山里到处转战的日子危机四伏。
为了不至于陷入国民党军的合围，重要的军用装备就地掩埋，轻装下来的东西都给了老百姓。刘伯承和邓小平决定把指挥机关分成前方、后方两个指挥部：邓小平与野战军指挥部副司令员李先念、参谋长李达带领第二、第三、第六纵队在大山里与国民党军兜圈子；刘伯承与野战军指挥部政治部主任张际春带领第一纵队争取跳到包围圈外面去，扰乱国民党军的进攻阵形。
雨雪交加的黄昏，刘伯承与邓小平在大梧黄站附近分手。
考虑到前程莫测，刘伯承对身边的人说：“如果我们北上受阻，不幸被敌人冲散，大家就原路向南集中，到文殊寺去找邓政委。”
部队走了没几天，就被国民党军追上了。一纵二十旅五十九团侦察参谋吴晨给旅长吴忠送来两个俘虏。俘虏说他们是整编十一师搜索连的，任务是侦察设营。吴忠看到俘虏身上的设营地图时，吓了一跳：整编十一师的设营地，正是刘伯承准备宿营的小寨村！“我带了一辈子兵，打过无数次仗，从没怕过，可那一刻，我真正是怕了。”吴忠立即派旅作战科长陈雷去向刘伯承报告。可陈雷一会儿就回来了，说没有找到刘司令员。纵队司令员杨勇急了，派参谋处长李觉再去找：“一定要找到！背也要把老先生给我背出来！”过了一会儿，杨勇得到报告说，找到了，刘司令员在六十二团。
跟随六十二团行军的刘伯承太累了，一进小寨村，警卫员还没给他准备好房子，他就躺在一间满是稻草的房间里睡着了。机关刚架好电话，侦察员报告说，这一带发现了敌人。接着，一位当地的老人也凑过来说，你们怎么能住在这儿？周围全是国民党兵。这个寨子四边都是水，只有进寨的一座桥，昨天下午国民党兵还来看过，看完就走了。这时，远处有零星的枪声传来，军政处长杨国宇把刘伯承推醒，刘伯承无论如何也不相信，他问那位老人，你怎么知道是国民党军队的？老人说，你们的部队不带锯子和斧子，不砍我们的树。国民党军走到哪都带着锯子和斧子，在村边挖大坑，然后把砍下的树搭在大坑上。刘伯承知道这是在修工事，他再问老人，他们穿的什么衣服？老人说，比你们整齐，是黄的。杨国宇催促刘伯承快走，刘伯承叫来作战参谋王文祯，让他去找二十旅旅长吴忠。王参谋按照地图去找，结果闯进国民党军的一个团部，机警的他撒腿就跑。王文祯还没有回来，四周的枪声已密集起来，刘伯承上了马。
军政处长杨国宇回忆：
刘给了我一个大指针说：一百八十度。我说没有桥。他不管，还说朝一百八十度走。结果硬是朝一百八十度走到河岸，又转来朝二百七十度过桥，又不走了。问：张际春在哪里？李雪峰在哪里？还有什么二局到了没有，他们知不知道在哪里集合。我一一做了回答。说军政处的参谋全派出了，接引他们到集合点。快走吧！这时已听远处有机枪声，但不激烈。但我们到集合点时，二局、通信、区党委的、政治部的都比我们先到集合点。真快！……我们刚集合好，向南行时，飞机来了。在我们上空，因为浓雾笼罩着，什么也看不见。刘在马背上对我们说：天助我也！天助我也！并说西游记的作战思想确有独到之处，每当走到绝路之时，就是腾云驾雾……走了不到十里，刘突然找我问：邓政委现在在哪里？天呀，只有马克思知道。
白崇禧的大军已占领大别山区的所有县城和重要村寨，但始终没有追上刘邓部主力，于是对这一带采取了更为严厉的封锁策略。刘邓部长期处在敌人的追击中，官兵日日都在辗转跑路，得不到休整和补充，战斗力与供给都面临巨大考验。六纵十七旅旅长李德生后来回忆说：
敌七师、四十八师是桂系精锐，善于山地作战，在大别山地区长期盘踞，各地都建有谍报网，反动势力盘根错节，他们用残酷的手段胁迫群众空舍清野，使我军吃不上饭，找不到向导，给我们的生存立足带来严重困难。敌人几倍于我，紧追不舍，企图扭我作战……部队每到天黑就行动，走到凌晨两三点宿营。由于敌人也在山里乱窜，常常不期而遇。有时饭还没煮好，发现敌情，就将没煮好的米带上又走……有一次一夜走了一百五六十里。由于净走山路，草鞋穿上半天就磨穿一双，打草鞋来不及，战士们就用破布包在脚上走，更多的战士是打赤脚行军……我十几万大军，千里跃进，深入敌人纵深地区，远离后方依托，所遇到的困难，非身历其境，是难以想象的……痢疾、疟疾流行，造成大量减员；阴雨连绵，道路泥泞，山高路窄，重炮和大车都不便行动；山地、水网作战，大家没有经验；因无安全后方，伤员难以安置，成了指挥员打仗最大的顾虑……
一九四八年二月七日，中央军委致电刘伯承、邓小平：
刘邓：
你们指挥所现在何处？如果尚在大别山，似宜移至淮河、陇海、沙河、伏牛山之间，指挥你们三个纵队、陈（陈士榘）唐（唐亮）四个纵队、陈（陈赓）谢（谢富治）一个半纵队，共八个半纵队，在淮河、汉水、陇海、津浦之间集中，机动打中等的及大的歼灭战。这是因为：（一）粟裕准备机动；（二）你们准备派两部机动；（三）将敌人主力吸引至淮河、汉水以北，利于粟等机动，并利于大别山、江汉等地放手发展；（四）北面缺乏指挥中心；（五）北面有巩固后方，可为依托，利于打歼灭战；（六）必须打歼灭战才能解决问题。以上望统筹见复……又你们三万五千新兵，似宜分作两批补充各纵，头一批补充二万至二万五千，留下一万至一万五千，几个月后在歼灭战中补充那些损失较大的部队，因为今年再无新兵。
军委
丑（二月）虞（七日）
这是中央军委第一次要求刘邓大军从大别山区转移出来。
“现在南线最要紧的战场是大别山，该区是否能站住脚的问题，尚未解决。”毛泽东认为，战争发展到这一阶段，不打大的歼灭战，是不能解决中原问题的；而要打大的歼灭战，刘邓、陈粟、陈谢三军必须协力。刘伯承和邓小平都赞成将部队移出大别山：“我野战部队在大别山内，一时很难打到好仗，辗转消耗亦不合算，集中做宽大机动，并利于粟的行动，实属必要。”
二月二十四日，邓小平率前方指挥部北渡淮河，在安徽临泉县南部的韦寨与刘伯承率领的后方指挥部会合。四月初，他们开始一路向西，至五月下旬，移动到河南中部的宝丰县境内。与此同时，二月二十八日，陈再道率第二纵到达河南新蔡以南的谢家集；三月二十七日，陈锡联的第三纵队九旅和王近山的第六纵队渡过淮河到达安徽阜南一带；二十八日，第三纵队司令部和七旅、八旅进至安徽西北部与河南交界处的双碑湖地域。
至此，刘邓大军主力全部转出大别山区。
刘邓大军千里跃进大别山，一举突入国民党统治区纵深，使解放战争由战略防御转入战略进攻。他们拖着国民党军辗转作战，部队付出了巨大的代价。一九四七年八月，大军南渡黄河时，全军辖第一、第二、第三、第六纵队，总兵力十二万四千余人。七个月后，一九四八年三月，部队转出大别山时，野战军直属队减员四千四百三十二人，第一纵队减员一万六千三百一十五人，第二纵队减员一万八千五百八十二人，第三纵队减员一万三千二百六十人，第六纵队减员一万二千三百零六人，总兵力仅剩五万八千六百人。
刘邓部主力顺利转出大别山，这令蒋介石十分恼怒，他认为几十万部队追击合围，即使不把刘邓部全歼，至少关在大别山里饿死冻死是可以做到的。蒋介石立即命令胡琏兵团（整编第十八军）一部自豫中的漯河向东压缩，对休整中的刘邓部主力进行袭扰；同时命令张轸兵团（辖整编十、二十、五十八师）配属整编四十八师进驻豫东南的固始、潢川一线，控制淮河，切断刘邓部主力与大别山区的联系。
为了掩护刘邓部休整，中央军委命令华东野战军陈士榘、唐亮的部队以及陈赓、谢富治的部队采取行动：“目前两星期内你们的任务是钳制十一师及其他平汉郑信（郑州至信阳）段之敌，使其不能威胁刘邓主力在沙（沙河）、淮（淮河）间集结及补上新兵。”
此时，彭德怀指挥西北野战军正在攻击宜川、洛川等地，山西的徐向前指挥晋冀鲁豫部队正在围攻临汾城，胡宗南为确保西北地区的大本营西安，令驻守在洛阳至潼关线上的主力部队自新安、宜阳、洛宁、陕县、灵宝地区全部回缩，除以一部驻守河南与陕西交界处的潼关外，大部队全部撤回西安外围一线。于是，在郑州至潼关之间，四百多公里的地段上，只剩下了驻守洛阳的孤军——青年军二〇六师。
陈士榘、唐亮、陈赓、谢富治提出攻打洛阳。
三月七日，中央军委一天之内连续致电陈士榘、唐亮、陈赓、谢富治。第一封七日凌晨二时到：
你们率三、四、八纵应以夺取洛阳并准备歼灭孙元良（整编第四十七军）援兵之目的，迅速对洛阳及洛郑线（陇海线上的洛阳至郑州段）发起攻击，希望能于两周内外完成此项任务。
第二封七日午夜二十四时到：
洛阳这样的重要城市，顾祝同决不会不增援。你们占领黑石关、偃师、新安后，应以一部攻击洛阳，吸引敌人来援，集中全力歼灭援敌，重点放在打援上面。敌援兵可能主要是孙元良，十一师亦可能来一部。请刘、邓令十一纵速向十一师佯攻以钳制之。
中原重镇洛阳位于黄河中游，北依邙山，南近洛水，地扼陕西、山西、河南三省要冲。国共双方都知道这座城市对中原战局的影响。对于共产党人来讲，夺取了洛阳，就意味着在国民党军中原战线上撕开了缺口，以切断国民党军中原与西北两个战场间的联系。同时，夺取了洛阳，还能把中原解放区与山西解放区连在一起，使中原战场有更为广阔和深远的后方依托。而对于国民党军来讲，洛阳是连接郑州与西安的枢纽，枢纽一旦失去，中原和西北两个战场都将陷于孤立，两个战场如需相互增援就要绕行秦岭，如此一来不但中原被动，西北也将陷入危境。
青年军二〇六师，洛阳国民党守军主力，配属有陆军总司令部郑州指挥部的榴弹炮连、战防炮连、野战炮连和重迫击炮连，加上地方武装，总兵力约两万余人，总指挥为青年军二〇六师师长邱行湘。所谓“青年军”，是蒋经国根据蒋介石“一寸山河一寸血，十万青年十万军”的口号，在抗日战争期间动员知识青年参军组建的几个师。蒋经国组建青年军的目的，一方面是国民党军扩军的需要，另一方面是要与共产党争夺青年，因为当时许多中国青年纷纷跑到延安去了。蒋氏父子试图把青年军办成培训干部的学校，青年军各师师长均由蒋介石亲自挑选。二〇六师是内战爆发后在洛阳新组建的，官兵大部分是从中原各城市招来的青年学生，嫡系将领邱行湘被蒋介石任命为师长。
邱行湘，黄埔第五期毕业生，在校期间，校长蒋介石曾讯问：“你来黄埔是为什么？”邱行湘答：“革命，革命，还是革命！”蒋介石赞赏道：“邱行湘是黄埔的模范生，日后定是模范将领。”他曾给参谋总长陈诚当副官处长，率部驻守洛阳前是第九十四军五师师长，在国民党军中以作战凶悍著称。当时，二〇六师只有三个团，邱行湘到任后，从郑州、开封、许昌等地又招了三千多名青年学生，将部队扩充为六个团。他效仿共产党军队的做法，在全师上下进行连队评比以励斗志，还办了本名为《革命青年》的师刊。
蒋介石用专机将邱行湘接到南京谈话，着重强调了“军事的成败，关系到党国的安危。如果不打败共产党，我们都将死无葬身之地”。当听邱行湘说洛阳没有警备司令部时，蒋介石当即写了张字条加封邱行湘为“洛阳警备司令”。蒋经国也在南京亲自宴请了邱行湘，并表示“装备方面，你可以与愚兄我经常联系”。返回洛阳时，邱行湘说他准备为党国“鞠躬尽瘁，死而后已”。
邱行湘知道“洛阳的安危关系整个战局的成败”，但是自己兵力有限，学生兵又吃不得苦受不得累，这样的部队实在不适合打野战；而优势则是学生兵政治性强，不会轻易缴枪投降，可以依靠坚固工事顽强坚守。因此，邱行湘放弃了洛阳外围邙山、龙门等险要阵地，决定在城内修筑火力覆盖周密的城防体系，让每一处地方皆成为能够独立作战的“小而坚”的据点，让洛阳全城堡垒化。邱行湘认真勘察了洛阳城的地形后，请大学土木工程系毕业的新闻处长赖钟声绘制图纸，然后开始了大规模的城防建设。他的第一道防线是城边的九龙台、潞泽会馆、大王庙、发电厂、周公庙和火车站一线。在这条防御线上，邱行湘修筑了一系列即能独立作战又能相互支援的堡垒，堡垒的周边是犬牙交错的壕沟和铁丝网，主要功能是护卫城墙，保卫城门。第二道防线是守备城垣，在城墙上下、瓮城内外，邱行湘修筑了无数明碉暗堡，射击孔密如蜂窝，构成的立体火力网可以阻拦来自任何方向的攻击。第三道防线是核心阵地，以洛阳中学为中心，除了更为坚固的碉堡之外，还修筑了一个水泥钢筋的大隐蔽部作为指挥所。邱行湘把每一个重要据点都设计成三层：上层俯瞰射击；中层与地面齐平射击；下层则在地下，专门对付攻击方的架梯手、爆破手和挖坑道者。他还下令拆毁城墙外的一千五百多间民房，以防这些民房被作为进攻掩体。满城百姓哭跪，邱行湘说：“事关洛阳的存亡，顾不得那许多了。”他下令将存放在郑州的弹药全部搬运到洛阳，并把二〇六师的军官家属也从郑州统统搬迁到洛阳，以此断绝军官们临阵脱逃的后路。
该做的事全做完后，邱行湘亲笔写下“固若金汤”四个大字，悬挂在洛阳东城门的正中央。
蒋介石的指令是：“固守一个月。”
二〇六师副师长赵云飞忧心忡忡，以为洛阳防御线过长，四周防域面积过大，六个团的兵力实在难以坚守。邱行湘说：“我知道守不住。但是，我们必须尽力而为，战斗到最后时刻。”邱行湘认为，只要洛阳能坚持一段时日，郑州、西安、许昌方向的援军便会大规模到达，那时候如果共产党军队还不撤，洛阳地域将成为两军决战的战场。
果然，二月底，当发现共产党军队有“进犯洛阳的企图”后，蒋介石除命令二〇六师“固守洛阳既设阵地，协同外围兵团聚歼来犯之敌”外，同时命令驻守在驻马店一带的胡琏兵团向许昌集结，命令已从郑州南下的孙元良兵团回撤郑州集结，两军统归陆军总司令部郑州指挥部主任孙震指挥，以“确保洛阳”。
陈赓、陈士榘担心的是久攻不下：部队缺乏攻坚大城市的经验；攻城打援的老办法已被国民党军熟知；小部队佯攻洛阳敌人会不为所动，而我久攻不下将给敌人增援的时间；大规模的援军一旦到达，我军打援是否能得手很难预料。如果要避免攻城失利又打援不成的局面，唯一的办法就是趁敌还未形成增援态势的时候，迅速攻下洛阳。陈赓、陈士榘决定投入优势兵力攻城，力争三至五天解决战斗。因为胡宗南的部队已经西去，无力东顾；孙元良兵团固守郑州，虽然靠洛阳很近，但因不是蒋介石的嫡系部队，且孙元良一向只求保存实力，所以估计不会孤军出动积极增援。在这种情形下，一旦洛阳战役打响，蒋介石只能调动他的嫡系胡琏自漯河北上增援。胡琏兵团是国民党军在中原战场的重要机动部队，但是他要么途经郑州与孙元良兵团一起西进增援，要么孤军自临汝、登封沿道路崎岖、易遭伏击的小路直驱洛阳，而无论胡琏兵团如何行动，以最快的速度到达洛阳至少也要五天时间。
中央军委命令，洛阳战役由陈士榘和唐亮统一指挥实施。
三月七日，陈士榘、唐亮发布洛阳战役作战部署：华东野战军“第三纵队应于九日二十四时前完成对洛阳车站、北关、东关之敌的包围，力求首先解决洛阳北站和东关之敌，以便主力迫近攻城”；晋冀鲁豫野战军第四纵队和华东野战军第三纵队主力于“九日二十四时前完成对洛阳西宫及飞机场及西关、南关之敌的包围，应首先切断西宫与洛阳城之间联系，或首先解决西宫及西关之敌，使其不能退缩城内”；华东野战军第八纵队“除以一部夺取并控制黑石关至偃师之间的两侧阵地之外”，主力于八日黄昏前进至郭镇、堤东、府店镇一带作预备队，“负责阻击可能由郑州西援洛阳之敌”；晋冀鲁豫野战军第九纵队一部攻占新安、宜阳一带，监视潼关方向的敌情。部署规定：“十日开始攻击，力求于十二日午前解决全部战斗。”
九日黄昏，华东野战军第三纵队强渡伊河、洛河，在一〇五榴弹炮和八五山炮的掩护下逼近洛阳城。入夜，三纵八师二十三团偷袭城关东，九师同时攻击北关方向的东西车站。三纵在占领西车站后，继续突进，在九龙台据点受到挫折。九龙台是洛阳城东北的一个土台子，顶部面积不过一百多平方米。传说在洛阳建都史上，九个皇帝曾到上面游玩，土台子因此得名。八师对九龙台发起连续冲击失利后，决定监视这里的守军，集中主力攻击东门。陈谢集团第四纵攻击周公庙和发电厂时也不顺利。周公庙是袋形双层工事，是邱行湘发明的“小而坚”的典型堡垒，由于这里是攻击西门的必经之路，因此国民党守军达一个团之多。四纵十旅三十团在攻击路线上遭到来自地面堡垒和地下暗堡的猛烈阻击，没有任何隐蔽物可以利用，即使付出了巨大牺牲冲进碉堡群，也如同进入迷魂阵一般，正不知何处可进可退，攻击部队的官兵大多被火力射杀。发电厂是洛阳城防体系中最复杂的外围防御阵地，四纵十一旅多次攻击未能得手，也决定改为监视，然后集中主力攻击西关和南关。占领两关之后，十旅回头再打周公庙，官兵搭起人梯攀上壕壁，连续爆破，工兵排除了所有的地雷，山炮摧毁了两个最大的堡垒，周公庙守军终于支持不住，千余名官兵缴枪投降。至此，洛阳城的第一道防线除几个坚固据点之外，大多数堡垒基本肃清，洛阳城外与城内的联系已被切断。
邱行湘不断致电蒋介石，号称洛阳守军“士气旺盛，连挫凶锋，斩获甚众”。
蒋介石严令孙元良和胡琏昼夜兼程驰援洛阳。
陈赓鉴于未扫除的外围据点会威胁攻城部队的侧后，建议将攻城时间推迟一天。陈士榘不同意，因为国民党援军已在急进洛阳的路上。陈赓不再坚持。陈士榘、唐亮决定十一日开始攻城：三纵八师二十三、二十四团攻东门，二十五团攻北门，四纵十旅攻西门，十一旅攻南门。炮火准备于黄昏十七时开始。
十一日黄昏，三十多门火炮的炮火开始了。早有准备的邱行湘立即命令炮火反击，洛阳城内外顿时成为炮战战场。国民党守军炮火猛烈，且有位置极佳的炮兵观察所，因此攻击部队的炮兵阵地很快就受到猛烈轰击。但是，攻击的炮兵也测出了国民党守军炮兵阵地的位置，轰击的准确度逐渐提高，不但压制了守军的反击炮火，还把各个城门前的防御碉堡轰掉不少。
炮火准备之后，雷声滚滚而来，天地间一片昏暗，洛阳城的四个城门同时受到了猛烈的攻击。攻击西门的四纵十旅处境困难，因为他们身后还有没被占领的发电厂据点。山炮运不上来，只能用轻武器掩护爆破组对城墙实施爆破。但是西门的外壕又宽又深，只有一条通道可以接近城门，通道被国民党守军的火力严密封锁，致使爆破小组的接近多次受阻。陈赓下决心先将发电厂据点拔除。半夜，发电厂终于被攻占，山炮开始上运，但大雨倾盆，道路泥泞，牲口无法使用，人力推炮十分艰难，直到天亮，才把山炮推到西关。
担任东门主攻第一梯队的是三纵八师二十三团。二十三团决定以一营为突击队，二营、三营继后。八师把山炮、战防炮、步兵炮、迫击炮、六〇炮组成两个火力队，为一营提供火力掩护和火力支援。一营把作战方案报了上来：一连突破，二连为第二梯队，三连为预备队。团长石一宸和政治委员王良恩对这个方案不满意，说这个方案打小县城和土围子还可以，现在咱们打的是防守坚固的大城市洛阳。营长张明感到了压力，他不断观察地形，与官兵们反复讨论。一营的一个年纪很小的理发员很想为战斗做点什么，他到老百姓中间搞了个调查，竟然画出一张东门敌情图，图上画满了各种奇怪的符号，甚至还画着一条死去的狗。这张图被送到营指挥所，把张明营长看糊涂了，他找来小理发员询问，小理发员解释说，长线条是外壕，上面的短线是桥，老百姓说上面有座桥可以过去。桥头的圆圈是百姓们说的“大坟包”，可能就是敌人的暗堡。张明营长特意问到那条狗，小理发员说，百姓们说前几天有条狗跑上去莫名其妙地死了，估计是碰上了电网。张明最后的计划是：三连负责爆破火力点和铁丝网等障碍，一连攻击城门，二连攻击瓮城。这一次，团长同意了他们的攻城计划。突击开始后，张明带领二连向前运动。爆破员马景春在弹雨中抡着缠着绝缘胶带的大铡刀猛砍电网，连续破开了三条通道，后面的爆破员抱着炸药包扑上去，炸毁十三道障碍物和数座碉堡后，二连接近了瓮城。大雨倾盆，天地漆黑。二连侦察员回来了，说小理发员画的那座桥果然在。张明立即命令二连发起攻击。命令刚一出口，一颗子弹击中了他的后背，鲜血顿时染红了军衣。二连迅速通过小桥，在炮火和机枪的掩护下，十三名爆破队员前仆后继连续爆破，终于把城门炸开一道三米宽的口子。排长宋苍富率第一突击组冲向缺口。已经负伤的张明趴在冲击阵地上，他知道必须迅速突破东门，强占城楼，准备迎击国民党守军的反击，如果动作稍慢，部队很可能被压制回去。他果断地命令预备队投入战斗，与二连一起扑向第二道城门。即使在大雨中，敌人的炮火仍旧十分猛烈。一个爆破队员在冲击的时候，怀里的大炸药包被铁丝网意外地拉响。后续的爆破队员拼死向前运动，把四个大炸药包放在了城门下，一声巨响之后，东门的第二道城门被炸开了。副连长沙培琛和七班副班长陈福才率先冲进城门，投弹组和爬城队跟了上来，东门的城楼终于被占领。凌晨四十分，陈士榘在指挥部接到三纵的报告：“张明这个营攻得好，东门已被炸开突破了！已占领城楼，城里电灯还亮着呢！”但是，敌人的炮火越来越猛烈，后续部队受到火力压制，无法及时跟进，张明的一营只控制着城楼左右百十米的阵地。
这个时候，邱行湘犯了一个致命的错误：除了命令炮火封锁被突破的东门之外，他并没有组织预备队进行大规模反击以及时封堵城墙防御线上的突破口。漆黑的雨夜中，洛阳四面的城门同时受到攻击，邱行湘无从判断哪个方向最危急。更严重的是，平时表决心很有一套的青年军此时陷入了极度的惊恐之中，学生兵纷纷偷偷逃跑躲进城中的民房里，邱行湘已无法有效地指挥他的部队。
坚持在东门的一营终于迎来了大部队。
十二日凌晨，三纵二十四团跟随二十三团突进城内；二十二团和二十一团奉命暂时停止在东北方向的攻击，迅速转至东门战场跟随二十四团突入；随后，二十五团和二十七团也从东门冲进城。至此，攻入洛阳城内的部队已达六个团。在西门和南门攻击的陈谢集团四纵午夜再次发动攻击。洛阳城的东门距离南门很近，攻入城内的华东野战军三纵二十三团转向南门，从里面打，四纵的部队从外面打，十二日下午，南门被突破。接着，担任突击队的十旅二十八团二营五连，在弹药消耗殆尽的情况下冲开了西门。
战后，突破东门的华东野战军三纵八师二十三团一营被授予“洛阳营”的光荣称号，营长张明被评为“甲等战斗英雄”。突破西门的晋冀鲁豫野战军四纵十旅二十八团二营五连被授予“洛阳英雄连”称号。
十二日黄昏，“固若金汤”的洛阳城四门已全被突破。
蒋介石给邱行湘发来电报：“已饬外围兵团兼程驰援，希激励三军，坚守阵地。”邱行湘遂带领残部五千余人退守核心阵地，他希望自己创造第二个“四平街奇迹”：战至一兵一卒，等待援军到来。
大雨越下越猛。
十三日晚，对核心阵地的攻击开始。国民党守军依托有利地形和坚固工事，火力之猛，特别是重武器火力之密集，出乎攻城部队的预料。三纵和四纵连续发动进攻，各部队都受到猛烈阻击。十四日，战场局势复杂起来。尽管孙震曾反复陈述增援的困难：“我四十七军自三十八师临时奉命西调后，仅有四个团的兵力，黑石山守备至少需一个团，尚余三个团，实无力出击；十八军因连日大雨，道路泥泞，十一日由许昌到禹县，已行九十里，十二日可抵登封附近。至速须十三日可到府店镇附近，与孙军会合，发生策应作用。”但是，蒋介石严令必须不惜一切增援洛阳，甚至命令整编三十八师停止西调，归孙元良兵团指挥，“与胡兵团并肩向洛阳急进”。孙震只好一面命孙元良的部队快速增援，一面命胡琏的整编第十八军由登封附近跃进洛阳。
陈士榘决定十四日下午对洛阳城内的核心阵地做最后一击。
这是最后的时刻，也是最后的机会，如果攻击失利只能撤军，否则，时间拖延下去等来的只能是敌人大队援军到达战场。
邱行湘将青天白日旗高高地悬挂在核心阵地大楼的楼顶，以示坚守到底的决心——“连日阴雨，气候恶劣，飞机很少活动，援军更无消息。但我自恃工事坚固，粮弹充足，士气旺盛，解放军即使付出两千人的代价，也不一定拿得下我们的核心阵地，而久攻不下，势将撤退。我认为只要守住核心阵地，就可以打出第二个四平街来。”
攻击部队把所有的火炮集中起来，包括刚刚从外围阵地缴获的火炮，不下达轰击目标，不规定发弹数量，只是命令“各炮急促射击一小时”。邱行湘的核心阵地，是一个不足两百平方米的正方形小圩子，南北两面排列着五座楼房，四周是高大的围墙和深壕。邱行湘登上楼房观察，发现共产党官兵正在抢运城里的物资，汽车、大车与大量的官兵和百姓满街走来走去，像搬家一样，其阵势如同要把整个洛阳城搬走。除此之外，一切寂静，这种寂静令他害怕，他正准备看看共产党军队是否在挖地道，炮声响了。猛烈的炮火持续了两个小时，万余发炮弹打到不足两百平方米的圩子里，工事炸塌，碉堡炸飞，楼房点燃。邱行湘的头部被弹片击中受伤，身边的四团团长朱驱被当场炸死。狭窄的小圩子里面拥挤着近五千人，在炮火的打击下血肉横飞，呼喊惨烈，整个核心阵地成为一片火海。
三纵八师和四纵十旅从两个方向向核心阵地突击。
一个小时的激战后，核心阵地成为废墟，守军全部被歼。
在洛阳守军即将覆灭的时候，一架小型飞机飞临洛阳上空，这是蒋介石派来的，想把邱行湘师长接走，但是整个洛阳火光冲天，浓烟蔽日，飞机根本无法降落，盘旋了一会儿飞走了。
四纵十旅二十八团十连的官兵冲进一座楼房，里面还活着的国民党官兵都举起了双手。官兵们问：“师长在哪里？”其中一个军官说：“这里没有师长，我是参谋长符绍基。”十二连官兵在一个暗堡里俘虏了五十多人，又在一座楼房里俘虏了八十多人，集合俘虏的时候，其中一个头戴士兵帽的俘虏突然逃跑，立即被十二连指导员按倒在地，这就是青年军二〇六师赫赫有名师长邱行湘。
一九四八年三月十五日，国民党中央通讯社播发消息：“国军坚守核心阵地，寸土必争，屡建功勋。现我国军劲旅已进抵洛阳，共匪处于内攻失利，外受包围，有被歼之命运矣！”
国民党中央通讯社播发这条消息的时候，邱行湘已被押送到四纵十旅的司令部里。陈赓把手里邱行湘的照片与当面的这个人对照了之后，说：“你是邱行湘吧，黄埔五期的？我是陈赓。”
邱行湘说：“久仰，久仰。”
陈赓说：“你是哪里人？”
邱行湘说：“江苏溧阳。”
陈赓说：“那里是我们新四军的老根据地。”
邱行湘说：“是的。我家是贫农，陈毅将军在我家住过，你问陈毅将军就知道了。”
陈赓说：“你的家庭成分倒还不错，可惜你是为大地主大资产阶级服务。”
陈赓对二〇六师的那些死去的学生兵感到非常惋惜：“这次战斗，你们打得很苦，死伤很重。我们本来不需要使用这样大量的炮火，但你们固执不放下武器，而我们又想早点解决战斗，想使洛阳人民早点过安定的生活，所以不得不把这样猛烈的炮火加在你们身上。现在你们大概体验到了，你们工事做得再好，也无法阻挡解放军的进攻。”
南京很快获悉洛阳失陷，立即宣布邱行湘“殉国”，并准备给他开“忠烈追悼会”。此时，邱行湘正在被送往太岳解放区的途中，他在路上给家人写信说：“旧的邱行湘已经死去。”
增援的国民党军到达洛阳城郊的伊河和洛河。连日大雨，河水暴涨，渡河器材没有着落，一整夜没能渡过一兵一卒。胡琏打了工兵团长一个耳光，但架桥速度依旧缓慢。十七日，胡琏的整编十一师和整编三十八师终于到达洛阳。
华东野战军和晋冀鲁豫野战军作战部队已撤至洛阳以西休整待命。
洛阳已是一座空城。
洛阳的城防工事完全被毁，共产党军队就在洛阳城外，兵力少了守不住多了又拿不出。此时，平汉路和陇海路东段都很吃紧，三月底，胡琏的部队又被调回驻马店，洛阳只剩下了整编三十八师的一二四旅。四月三日，一二四旅主力开往偃师，洛阳城内只剩下三七一团和一个保安团。
陈赓决定再打洛阳。
这次打洛阳，陈赓决心永久占领这座中原重镇。
四日，攻击开始，洛阳守军跑得漫山遍野。至五日十一时，歼灭国民党守军四千六百余人。
洛阳之战，是转入战略进攻以来，共产党人在南线战场夺取的第一座城市。
为了攻占这座城市，六千多名官兵付出了年轻的生命。
为了永久占领这个城市，四月八日，毛泽东为中共中央起草了《再克洛阳后给洛阳前线指挥部的电报》，提出共产党人管理好新解放的城市的具体政策。电报说：“极谨慎地清理国民党统治机构，只逮捕其中主要反动分子，不要牵连太广”；“对于官僚资本要有明确界限，不要将国民党人经营的工商业都叫做官僚子资本而加以没收……一切民族资产阶级经营的企业，严禁侵犯”；“严禁农民团体进城捉拿和斗争地主。对于土地在乡村家在城里的地主，由民主市政府依法处理”；“一切作长期打算。严禁破坏任何公私生产资料和浪费生活资料，禁止大吃大喝”，“城市已经属于人民，一切应该以城市由人民自己负责管理的精神为出发点。如果应用对待国民党管理的城市的政策和策略，来对待人民自己管理的城市，那就是完全错误的。”这封电报同时发给了其他战区的领导，因为这些政策不但适用于洛阳，“也基本上适用于一切新解放的城市”。
中共中央任命的市委书记和市长上任，洛阳这座古城开始了新的历史。
此时，中共中央作出了一个影响未来解放战争进程的重大决定：再建中原军区和组建中原野战军。
刘邓大军转出大别山，与陈粟大军、陈谢集团齐聚中原，准备在平汉路以西、汉水以北、陇海路郑州至潼关段以南的广大地区机动作战，如何统一指挥三军的问题随之显露出来。
五月九日，中共中央发出《华北、中原两解放区的辖区和人选》的通知。其中关于中原区的领导任命如下：
（一）除华中解放区现辖境地外，凡陇海以南长江以北直至川陕边区均属中原解放区。（二）中原中央局以邓小平为第一书记，陈毅为第二书记，邓子恢为第三书记。以刘伯承、邓小平、陈毅、邓子恢、李先念、宋任穷、粟裕、李雪峰、陈赓、张际春、谢富治、刘子久十二同志为委员。在中原局下，建立豫皖苏分局，以宋任穷为分局书记。（三）刘伯承为中原军区及中原野战军司令员，邓小平为政委，陈毅为军区及野战军第一副司令员，李先念为军区及野战军第二副司令员。陈毅仍兼华东野战军司令员及政委，粟裕为副司令员，宋任穷为副政委。苏北兵团仍属华东军区建制，但在作战上受华东野战军指挥。
中原野战军由刘邓部和陈谢集团组成，下辖第一、第二、第三、第四、第六、第九、第十一纵队。原晋冀鲁豫野战军的第十、第十二纵队已于一九四七年十二月分别改编桐柏军区和江汉军区部队，原陈谢集团中的西北民主联军第三十八军已于一九四八年五月并入豫西军区。中原野战军分为两个兵团：以原属刘邓大军的第一、第二、第三、第六纵队组成第四兵团，李先念为兵团司令员兼政治委员，陈锡联为第一副司令员，陈再道为第二副司令员，苏振华为副政治委员；以原属陈谢集团的第四、第九纵队成立第三兵团，陈赓为兵团司令员，谢富治为政治委员。第十一纵队仍归华东野战军指挥。
中原军区的重建以及中原野战军的编成，形成了南线战场的指挥中心。而陈毅加入中原局和中原野战军领导层的意义在于：刘伯承、陈毅、邓小平不但可以一起指挥中原野战军，也可以一起指挥华东野战军。中原野战军与华东野战军——即后来的第二野战军和第三野战军——的协同配合，将对解放战争赢得最后胜利起到至关重要的影响。
一九四八年春夏之交，洛阳战役的结局令国民党军在中原战场上出现了不可弥补的漏洞，而随之发生的是共产党领导的中原野战部队指挥系统的调整完毕，这两者共同构成了中原巨战的先兆。