诏书刚下，刘柳抚额，看来桓修并没有完全领会自己的意思，为自己和桓氏谋的福利过大了，王珣依旧守卫北郊，虽然他是‘挺’看不起殷仲堪，可他在荆州也‘混’了好几年了，实力还是有的。另一方面，郗恢也不一定会放弃雍州。
对于朝廷的任命，桓玄犹豫了，若接受，表明了自己举兵的目的就死为了权力，那还不就是谋反？王恭尸骨未寒，自己却接受高位，实在不厚道。再说殷仲堪肯定不会听从，自己还不想和他反目。若不接受，好大的一块‘肥’‘肉’，弃之可惜。
杨佺期考虑没有桓玄多，升官是自己的威力所致，仲堪降职那就是朝廷的事，就是桓玄这小子占足了便宜，对于桓玄所带的兵将，他感到恐惧，虽然桓玄有怯懦的时候，但经历多了，这点也能克服。这还是他第一次领兵，在指挥上不能尽如人意，要尽早遏制他的势头才行。
“估计殷仲堪现在会跳着脚骂朝廷。”桓玄难得主动找杨佺期商议。
杨佺期道：“南郡以为该如何做？”
“同行不离伴，司马道子摆明了是想离间我们。”桓玄说着什么人都看得出来的话，杨佺期等着他说出有点意见的话。
“还是不置可否比较好，不接受也不拒绝，静观其变。”桓玄摆明态度，没态度的态度。
杨佺期顿时又看不起他了，道：“这样做事太婆婆妈妈，我的意思是先接受，再你我联合，帮助殷仲堪讨回荆州。”
“‘逼’急了殷荆州可不好。”桓玄忧虑。
“他会急？”杨佺期反问，“你没见他现在还在江州慢慢悠悠的！”
桓玄见这人也不好说服，只能退一步道：“如果要接受也行，先不要让他知道，否则，他如果退回荆州，我们反而什么都没有了。”
杨佺期见他说得有些道理，点头答应。
接到朝廷诏书的殷仲堪果然大怒，想想凭借自己和桓、杨的实力，还是可以和朝廷讨价还价的，于是发书催促杨、桓继续进兵。恰巧仲堪的弟弟殷遹为佺期的司马，就趁着天黑奔到仲堪处，说佺期受朝命，接纳桓修。
收到这消息，殷仲堪想想这两个人是指望不上了，匆匆忙忙就往南撤军。想想还是解不了气，就派人对驻扎在蔡洲的桓玄、杨佺期的军士发出警告：“你们如果还不散伙回家，等我回到江陵，就把你们的家眷全部杀掉。”
殷仲堪敢于说这话肯定是有他自己的实力，发出通告不久，殷的部下，现在在杨佺期手下领兵的刘系率着两千兵率先撤走。
听到殷仲堪如此威胁自己，桓玄还真想与之抗衡。倒是索元提醒他:“荆州的嫂子还怀着孩子等吧。”
桓玄以为，凭借殷的胆识，是不会对自己家眷做什么的。但是，在家的刘清就免不了担惊受怕。自己出‘门’后，收到刘清几封家书，都是谈些小事，要自己吃饱，天气转凉，注意添衣等等。军旅之中的桓玄没有心思在信中诉说儿‘女’情长，言简意赅地‘交’代几句就完结了。
离家也近四个月，如果加快速度，或许能在第三个孩子出世之前回去。再看看其他的军士，也是坐立不安，思归心切。
杨佺期感慨这几年不历征战的荆州兵已经失去往日的雄风，变得贪生怕死，桓玄赞成他的说法，但是，征战在外，最关键的就是兵卒，如果他们无心战争，留着也没有，若发生内‘乱’，后果更加不堪。
于是，桓、杨紧跟着殷就开始后退了。;