柴慎没有办法，只得把潼关的兵将调回。刘文静和李神通只得放弃了潼关，回兵去解并州这危。他们留下五千人马驻守潼关也算是断后，带着近十万大军撤离了潼关。
他们刚渡过黄河没两天，苏定方带着两万大军便攻下了潼关，随后也渡过黄河，追击刘文静和李神通的人马，刘、李二将无心恋战，边战边退，最后在吕梁山一带遭到徐茂公的伏击，苏定方带人随后夹击，刘文静和李神通被杀得大败，等他们杀出重围时，身边只剩下四万人马，狼狈退守文水。
柴慎只得向再次向李渊告急，此时的李渊早就不淡定了，令李世民断后，下达令三路人马全线撤退的命令。
杨勇和李靖得报后大喜，义军反攻的时机到了！