这时，留在冀鲁豫，原准备继续南下的八路军第2纵队留在原地未动，1941年7、8月间第2纵队再次整编，杨上将任司令员，苏上将任政治委员。
八路军第1纵队改为新四军第4师，彭雪枫任师长兼政委，下属4、5、6旅分别改为10、11、12旅。其中4旅改编为第10旅，所辖各团改为28团、29团和30团。
第3师奉新四军军部命令，开始东移。8旅下辖22团、23团、24随即跟进，开始离开皖东北，向苏北进军，决定到苏北开辟和建设抗日根据地。
白党顽军当然不愿我军壮大。3师刚离开皖东北，顽军趁日军向我苏中抗日根据地“扫荡”时，即向我军逼近。
白党顽军汤恩伯、李品仙部疯狂向皖东北地区进逼；顽军韩德勤部为策应汤、李二部顽军，先以王光夏、余世梅等部进犯淮海，控制盐河两岸，后以其一一七师加上6个保安团兵力，向盐城、阜宁地区进犯，企图造成夹击之势，消灭3师。3师各路部队英勇反击，很快击退了顽军的进攻，到达东坎（今苏北滨海）一带。
在蒋光头发动“皖南事变”的同时，白党第五战区司令官李宗仁指挥汤恩伯、李仙洲两个集团军向淮南、淮北、鄂中等根据地实施全面进攻，同室操戈，干起亲者痛，仇者快的勾当。
此时，日军为胁迫蒋光头投降，集中平汉、陇海、津浦沿线日军数万人，于1月24日发起“豫南战役”，从三个方面向汤恩伯、李仙洲两集团发起进攻。
汤恩伯、李仙洲两个集团共有兵力15万之众，却不战而退，向皖北根据地进攻的顽军92军，仓皇西逃。日军如入无人之境，豫东皖北的大片国土沦入敌手。
中原局和新四军军部，根据新的情况变化，指示新四军4师相机向西发展，收复被日军占领的土地，扩大根据地，牵制日军向白党军队的进攻。第10旅奉命西进，占领阚疃集、马店、顺河、凤台等地，直抵颖上县的江口集，消灭了伪凤台县政府和保安团数百人，恢复了白党军队丢弃的大片国土，扩大了抗日根据地。
日本政府为了继续实现其对蒋介石的诱降政策，对国民党军队实施军事压力之后，突然停止对国民党军队的进攻，匆匆结束了“豫南战役”，从阜阳、涡阳、蒙城等地撤退，敞开一个缺口，让李仙洲集团数万之众，很快重新进至颖河（新黄河）西岸。
经过准备之后，于2月10日突然强渡新黄河，向第10旅阵地发起进攻，实施分区围剿，妄图消灭我军，摧毁抗日根据地。新四军第10旅3个团奋起抵抗，经过江口集、马店子、阚疃集、罗集、半古店等地战斗，虽然给顽敌以杀伤，但连续作战，部队伤亡很大，29团1营和3营两个连队大部受损，28团各部队也有很大损失。
因为淮上地处平原，敌人优势，且有两个骑兵师参与进攻，机动性强。敌人进攻是以骑兵对我实施包围，等待步兵赶到发起进攻，陷我于被动地位，半古店、罗集战斗我军就是在这种情况下受损失的。因为敌强我弱，4师提出“军事政治游击宣传战”的方针，第10旅以营为单位分散活动，不能集中兵力给敌以歼灭性的打击。处于被动，不得不逐渐向东转移。
28团团直属队和两个营在旅参谋长、团长指挥下，于3月8日转移至怀远西南淮河和茨河交汇处，东南有波涛滚滚的淮河，河中有日本的巡逻艇游弋，北有茨河，西有白党顽军追兵，陷入极端危险的境地。
为了渡过这处极端危险的困境，部队进行动员准备和敌人作拼死之战，首长命令部队和机关准备全部参战，在村子周围挖好工事，在房子的墙上挖开枪眼，除了准备好武器之外，大家还准备了一些棍棒、铁锹、锄头，决心同敌人背水一战。同时首长命令侦察排勘察黄河渡河点，侦察参谋袁正元先期隐蔽出发，在涡河上准备船只。