4日下午3时，总攻开始了。炮兵猛烈轰击日军司令部大楼及日军兵营，爆炸声惊天动地，火光冲天，硝烟弥漫。在强烈炮火掩护下，第87师和第88师向日军发起进攻。
左翼第88师以第264旅担任主攻，向江湾路日军据点推进；第262旅以北站为中心，牵制和歼灭当面之敌。师长孙元良在弹雨中亲临第一线指挥作战。他在北站大楼上和水电厂屋顶上设置了两个侦察联络哨，分别由副师长冯圣法和参谋长张柏亭亲临观察战情。
担任主攻的第264旅旅长黄梅兴是黄埔一期生，有名的勇将。他参加过东征、北伐作战；1932年“一·二八”淞沪抗战时，在坚守庙行的作战中，团长黄梅兴带领官兵血战两昼夜，挫败日军进攻，被称为“黄老虎”。沪战结束，功勋卓著的黄梅兴晋升为264旅旅长。
黄梅兴带领第264旅（527团和528团）冒着密集的炮火向江湾路推进，在街巷中冲杀。日军凭坚固工事顽抗，逐屋争夺，街垒中一片杀声！从爱国女校迂回攻击的264旅冒着炮火奋勇冲锋，枪弹射到日军特制的钢板防盾上，被乒乒乓乓挡回来，每前进一步都异常艰难。
战至中午，先头攻击部队已接近日军指挥中枢。日军司令部附近尸体遍地，一部分日军退入司令部内，其余日军沿着北四川路逃窜。在日军司令部南面指挥冲锋的黄梅兴旅长，从八字桥侧面率部攻击占领持志大学的日军，在猛烈火力下日军溃逃。“冲啊！”黄梅兴率部追击，日军死伤累累。中**队势如破竹，锐不可当，连续攻破日军十多个据点。
在八字桥方向并肩冲锋的第262旅523团团长吴求剑和团副张正戈身先士卒，手拿短枪呼喊着前进，率领全团官兵，一鼓作气攻下了日军据点。
傍晚时分，第264旅进攻爱国女校的日军。敌人强烈炮火封锁了进攻路线。攻击部队伤亡很大，敌我形成相持状态。中**队又一阵猛烈攻击，日军阵地开始动摇。乘着日军火力疏松之际，黄梅兴率领官兵发起冲锋。第264旅怒潮般冲破了日军防线，一举攻占了日军阵地。残余日军纷纷溃逃，遗弃的枪支和尸体一片狼藉。
怀着胜利的喜悦，一身征尘的黄梅兴旅长要通了师部电话，正当他手握话筒报告战果时，一颗**飞来，在他身旁爆炸了。黄梅兴立即倒下，不幸牺牲了。黄旅长阵亡，官兵极为悲痛，攻击暂停。在攻击爱国女校战斗中，该旅参谋主任邓洸等30多名官兵殉国了。激战终日，第264旅共伤亡官兵千余人，该旅527团就有七名连长阵亡了。
右翼第87师以261旅担任主攻。第261旅也是能打能拼的主力部队。旅长沈发藻率部攻击，激烈的街巷攻坚战在每一条马路和每一幢楼房间展开。第261旅一部在陈家行、张家宅、陈家巷一带与日军展开激战，反复争夺，虽有不少伤亡，但是连战连胜，一度夺回了沪江大学，占领了日本海军操场。该旅另一路，则迫近到日租界外面的姚家桥，与兄弟部队一起包围了海军陆战队司令部。第87师259旅担负攻占公大纱厂的任务，旅长刘安祺率部攻击，势如破竹难以阻挡，攻陷公大纱厂后，乘胜向日军据点继续进攻。
日落时，张治中命令：“第61师钟松**旅，火速接替第264旅阵地。”并命令：“炮兵对虹口和杨树浦日军据点，猛烈轰击！”顿时，炮声隆隆，硝烟滚滚。在炮火掩护下，中**队向日军奋勇冲锋。日军不断后退，收缩阵地。战局正向有利于中**队的方向发展。
张治中暗下决心：“抓住时机，一鼓作气，扫荡日寇盘踞上海的最后据点。”
正在这时，张治中接到蒋介石电令：“今晚不可进攻，另候命令。”
张治中长叹一声：“唉！为什么？……”
因为8月13日，英美法三国政府提出将上海作为中立区，建议中日双方军队撤出上海，并由英国驻日大使向日本政府转告。又因美国特使史迪威的到来，蒋介石试图探探消息，了解美国态度，再做决断。所以蒋介石命令张治中停战，派宋子文和宋美龄接待史迪威特使，并任命陈诚为第三战区前敌总指挥，令其前往上海视察。