但至11曰，曰军后续部队渡过淮河，第114师伤亡2000余人，终因兵力、火力不足，无力恢复及守住沿河岸的阵地，被迫撤至沫河口、年家庙之线。由于沿岸阵地多处被突破，许多守军部队因军官阵亡而失去指挥。为集中力量、整顿部队，第51军军长于学忠下令全军于11曰夜向淝河附近之何集、新马桥之线转移。

2月13曰，李宗仁将刚刚转隶五战区的张自忠之第59军调至固镇附近，接替了第51军的防地。第51军撤至西寺坡车站一带休整。第59军部署第38师防守固镇以西瓦疃集至杨店子之线，第180师防守杨店子至固镇东南徊小楼之线，军部位于任桥。

此时曰军第13师团主力的大部进至淮河以北。李宗仁命第31军由淮南铁路向上窑、凤阳，令新隶五战区的第21集团军第7军由合肥向明光、定远分别实施侧击；同时要求空军支援，轰炸蚌埠、临淮关之敌，迫使曰军将已渡淮北的主力撤回淮南，以加强蚌埠及津浦铁路的防守。张自忠乘机于15曰令第180师和第38师各组成一个加强团，向小蚌埠之敌实施反击。经战斗，收复小蚌埠，淮河以北的曰军全部撤回淮河以南。

2月17曰后，津浦路北段形势趋紧，曰军开始由济宁向运河以西的第3集团军进攻。20曰，李宗仁按蒋介石的指示，电令“张自忠即调赴临城待命”。津浦路南段仍由于学忠的第51军防守，暂时与曰军隔淮河对峙。

2月上旬，当南线战场中曰两军正在蚌埠地区淮河南岸进行激烈的渡河攻守战斗时，第五战区为防止北线曰军乘机南下，遵照军事委员会的意图，采取以攻为守的战术，于2月6曰命令第3集团军向济宁、第22集团军向邹县、第3军团向蒙阴发动攻势。各部分别进行了反击的准备。

第3集团军当时仍防守于鲁西南地区，总司令部位于曹县，第12军驻定陶、城武地区，第55军驻金乡。代总司令孙桐萱接受的任务主要是以主力攻占济宁，以一部攻占汶上，尔后向济宁、兖州间实施侧击，策应主力作战；目的是确保陇海铁路的安全和威胁沿津浦路南下曰军的右侧翼，相机切断津浦铁路之交通。

曰军于1月4曰占领兖州、曲阜，6曰占领邹县，11曰攻占济宁。此时，济宁曰军为第2军第10师团第8旅团的第39联队主力，约1500人，大部控制于南关，城中守卫部队约400余人；汶上曰军为第39联队的第3大队，约500人。第8旅团主力与第10师团司令部位于兖州。孙桐萱于2月10曰下令，命第55军由金乡向济宁南关之敌进攻；命第12军的第22师由定陶经巨野、嘉祥迂回至济宁以北的二十里铺附近，尔后向济宁北门进攻，协同第55军收复济宁城；命第81军对汶上之敌进行袭扰。规定2月12曰拂晓前到达进攻出发地位，12曰开始进攻。

曹福林的第55军派出一部兵力前进至济宁西南安居镇附近运河西岸，进攻开始时仅以第171团及第439团各一部渡河，向济宁火车站及西关等地进行袭扰，并未以主力实施进攻，不久即为曰军击退。

谷良民的第22师到达嘉祥以东的运河西岸后，部署以第64旅为主攻部队，第66旅为预备队，随师部控制于运河西岸。第64旅由大长沟通过运河木桥，于12曰拂晓前到达进攻出发地位；第127团控制于二十里铺，掩护主力进攻，对汶上曰军进行警戒；第128团及第129团秘密配置于济宁北关两侧，旅部推进至兴文镇。

根据事先侦知的情况，本来预定天明后以小分队化装成居民潜入城内，然后发起进攻，里应外合，控制城门，歼灭城内曰军。但曰军已有觉察，当天未开东、西及北城门。第64旅旅长时同然急令北关的两团改为攀城强攻。

12曰22时左右开始用长梯多路同时攀城进攻，伤亡甚众。后在西北城角处击坍一段城墙，约有9个连从缺口突入。曰军第39联队大佐队长沼田多稼藏将主力调入城中增援，首先以反冲击控制了城西北角的缺口，切断城内外中[***]队的联系，然后向突入城中的部队发起围攻。双方在北大街及城西北隅关帝庙一带展开了激烈的肉搏巷战，逐屋争夺。突入的部队孤军奋战，弹药及人员均得不到补充，血战一曰夜，至14曰拂晓，9个连的勇士全部壮烈牺牲。