3月17日、18日，日军第2军第10师团的濑谷支队先后攻占了临城及滕县，令步兵第63联队的第1大队(欠1个中队)继续沿津浦路南进，向韩庄追击；为了控制枣庄煤矿，又令第63联队的第2大队向峄县追击。3月19日，日军第63联队的第1、第2大队分别击退了刚刚赶至沙河及峄县布防的第20军团第85军第89师的第6旅及第4师的第23团，占领了韩庄、峄县。
由于临沂方面日军第5师团坂本支队进攻受挫、处境困难，第2军参谋清福大佐到兖州面告第10师团师团长，希望对坂本支队予以支援。师团长矶谷廉介于20日命令濑谷支队：“须确保韩庄至台儿庄运河一线，并警备临城、峄县，同时应以尽可能多的兵力向临沂方面前进，协助第5师团战斗。”濑谷启即率第63联队进至峄县；22日，根据师团长意图下达了作战命令，主要内容为：“(1)第63联队第1大队(欠1个中队)担任韩庄地区的守备。(2)第63联队第2大队，配属野炮1个大队，明日(23日)从峄县出发，进占并确保台儿庄附近运河一线地区。(3)步兵第10联队，明日从临城出发，向临沂方向前进，策应第5师团之坂本支队作战。(4)濑谷支队主力集结于峄县附近”，观察情况的发展，再作出下一步的处置。3月22日，濑谷启得到航空兵空中侦察的报告：微山湖上中国军队约千余艘小船正向湖东的夏镇前进。由于这一新的情况，濑谷启改变了决心，支队主力亦暂不向峄县集中，仍留临城地区，准备应付微山湖方面可能发生的进攻，但第63联队第2大队的任务不变，仍向台儿庄进攻(称该大队为“台儿庄派遣队”)。
当津浦路北段日军开始由邹县南进时，军事委员会除将汤恩伯第20军团转移于第五战区外，3月14日又将军事委员会直接掌握的孙连仲第2集团军转隶第五战区。李宗仁在临城失守时决心集中兵力将向津浦路南进的日军围歼于临城以南地区。3月19日拟定了作战命令，21日报请蒋介石审核。其关于津浦路正面作战的主要内容为：“(1)临城、峄县、韩庄间之敌约步兵三联队、骑兵1联队、炮兵1联队、坦克车五六十辆，自14日以来，在界河、滕县、南沙河及临、枣各地与我邓集团(指第22集团)及王军(指王仲廉第85军)激战，现分部南进，已达韩庄及峄县附近，其主力似尚在临城。(2)战区以收复鲁中广大地区为目的，以一部在运河之线取攻势防御态势，以主力由峄县东南及东北山地，侧击南下之敌，聚歼于临枣支线与韩庄运河间地区。(3)各部队之部署及任务如左：甲、汤军团新配属31师(欠110师)，应集中主力于峄县东侧及枣庄西北方焦山头附近一带山地，于3月20日(后改为24日)拂晓全线开始攻击，务先击破峄、枣之敌，向临城、沙沟两地附近侧击，压迫敌于微山湖东岸而歼灭之。其一部集结于台儿庄北方地区，准备对峄县及其西北地区协力于主力作战。乙、孙集团军新配属110师(欠31团)，应以一部在侯新闸以西运河南岸防御，待机渡河北进，主力控置于贾汪附近及荆山、茅村镇间”。蒋介石于当日21时复电，原则批准，但对其部署作了修正，指示：“(1)汤军团进出运河后，以约两师对峄县方面佯攻，以三师由峄县以东梯次迂回求滕县以南亘峄县间敌之侧背攻击之。(2)张轸师(指第110师)及独44旅归孙仿鲁(孙连仲)指挥，守备运河。(3)孙仿鲁部两师集结徐州待机。(4)张自忠军(略)。(5)孙、曹(指孙桐萱、曹福林之第3集团军)出击部队，除以主力向邹县、两下店间地区挺进外，另以两团由汶上方面向肥城、大汶口挺进游击，限宥日(26日)到达，准予悬赏。万一敌有增援队由济宁出击时，除守势部队竭力阻止外，其出击部队仍须在铁路线上游击，不得撤回运河西岸。”
至3月22日夜，第20军团的第52军已将运河南岸防务交第110师，该军北向兰陵镇地区转进；第85军已与韩庄、峄县之敌脱离接触，正向青山地区转移；配属第20军团的第31师进至台儿庄地区(第31师于24日仍归属第2集团军)；第110师及独立第44旅在运河南岸台儿庄至韩庄间防守，第2集团军的第27师在贾汪地区，总司令部及第30师在徐州附近的茅村地区。
第五战区这次攻势作战的主力是第20军团。第31师的任务是以佯攻或固守手段牵制住峄县日军，以便于第20军团从侧背攻击、歼灭敌人。早在第31师副师长屈伸于3月19日先行到达徐州受领任务时，李宗仁就已将这次战役的作战方针及指导要领告诉他。李宗仁说：“鲁南突出冒进之敌约一个师，有进窥徐州之模样，你师到车辐山后，先接替台儿庄沿运河的防线，尔后向峄县之敌攻击前进。敌如出而迎战，你师应全力堵击，迨汤恩伯军团进击敌侧背，全力压迫敌人于微山湖畔聚而歼之；敌如固守待援，你师应尽力牵制，监视敌人，掩护关麟徵军北上与王仲廉军协力包围攻击，歼灭枣庄之敌，再回师合击峄县之敌，将战线推进到兖州以北。为了协同方便，你师即暂归汤军团长指挥。”
22日，汤恩伯在台儿庄也曾向池峰城告知上述作战企图，并表示：“设峄县之敌凭借峄县山城固守，则军团之攻略不易得手。31师应诱敌脱离山城，则歼敌易举。”还说：你们与敌接触后一日之内军团即可回援，你师如能在台儿庄坚守三日即算完成任务。池峰城根据上级的意图，决心提前于23日