然而，被杨广举荐回朝任职的张衡在正式卸任前却给杨广带来了一个坏消息：据广州刺史刘方发回的军报，官军在清剿交州李佛子叛乱时遭遇了顽强抵抗，最终未能渡海平定叛乱。
刘方在请罪的同时，也在这份军报中说明了导致交州兵败的两个原因：
首先，李佛子扯旗造反之初，就投奔了南海的扶南国，公然对外宣称，交州的数十万俚人皆是扶南国的子民，不再是大隋的编民，为自己寻找到了强有力的外援；
另一个原因则是，早在李佛子于交州扯旗造反之前，商氏兄弟就流窜往来于岭南诸俚部落，大肆煽惑起了俚人的反隋情绪，致使岭南沿海一带俚人自愿充当起了李佛子的眼线、耳目，往往是这边剿匪的官军还未登船渡海，那边已有俚人泅海将官军的动向报告给了李佛子，提前加强了防御力量，令官军屡次渡海征讨，都无功而返。
在广陵总管府的议事厅内，杨广阴沉着脸仔细看罢刘方发来的这份军报后，抬头问兵曹参军麻叔谋道：“刘方率军渡海平叛，事前不是已请冼夫人发兵相助了吗？为何还有如此多的俚人自愿充当李佛子的眼线，主动为他通风报信？”
麻叔谋求助似地望了望张衡，见他没有帮自己说话的意思，遂咽了口唾沫，硬着头皮跨步向前，抱拳答道：“禀殿下，根据最近高州谷窿驿发回的驿报，冼夫人身染沉疴，近半年来，已将岭南政务多托于其长孙冯喧主持，而冯喧又以祖母病重，不宜远离为由，对朝廷敦请他派兵协助平叛推诿搪塞，始终不肯发兵，故而才导致了俚人心向叛军的局面。对此，末将难辞其咎，敬请殿下处罚。”
“郭衍，你以为，该如何应对岭南目前的局势啊？”杨广并没有责怪麻叔谋，转向王府司马郭衍问道。
郭衍不仅是晋王府司马，晋王骠骑营的统领，还是杨广的近卫，见杨广首先向自己问策，便已猜到杨广想王驾亲征，前往岭南率军平叛了，遂有意答道：“刘方率军虽未能平定李佛子叛乱，但交州毕竟地处偏僻，不过是南海的一处孤岛而已，末将料那李佛子倒行逆施，必不能长久。故而以为，只需严命刘方继续征讨，同时敦使冼夫人发兵参与平叛，多则数月，少则数十天，李佛子之乱必平。”
“冼夫人年事已高，依岭南诸俚部落的惯例，将政务军务暂委长孙冯喧主持，也是情由可原的。但本王忧虑的是，一旦冼夫人与世长辞，冯喧成为岭南诸俚部落的首领，以他前次参与平定陈佛智叛乱时的表现而论，很可能于朝廷不利。关于此事，建平有何良策教我呀？”
杨广同样未对郭衍委婉地劝阻自己王驾亲征表明态度，又向王府长史张衡询问起了关于岭南诸俚部落首领继承人选的问题来了。
张衡跟随杨广多年，深知这位十三岁即出镇外藩，十六岁引突厥沙钵略可汗来降，二十岁作为三军统帅讨灭南陈的晋王殿下每临大事往往会由表及里，由此及彼，思谋长远，决不会只拘泥于一时一事之中，便思索着答道：“就目前而言，冼夫人于病中将政务军务暂托长孙冯喧主持，应属其家事，朝廷似乎不宜干涉过多。下官知道殿下心中所虑者，系如冼夫人久病不起，冯喧自会利用代其祖母主持岭南政务军务之便利，广泛笼络岭南诸俚部落，将岭南军政大权牢牢掌握在自己手中，形成尾大不掉之势，一俟冼夫人辞世，便向朝廷上章要求继代冼夫人成为岭南诸俚首领，若到了那时，朝廷无论答应其要求与否，都很难保证岭南局势的稳定了。有鉴于此，建平以为，当及早入手，在冼夫人的孙辈当中择一二对朝廷怀有忠心，且贤能者，建言朝廷予以册封，借此向岭南诸俚暗示，冯喧并非冼夫人身后的唯一继承人，以防不测。”
“唔，建平之言甚善。唉，我还有点舍不得放你回朝任职啊！”一向喜怒不形于色的杨广听了张衡这番建言，也不禁点头称赞道，“据你所知，在冼夫人的孙辈当中，可有合适的人选？”
“据下官了解，冼夫人的次孙冯盎颇具勇力，且忠于朝廷，可由殿下建言朝廷册封为石龙郡太守，以扼制冯喧。”张衡略一思索，拱手答道。
“不仅要建言朝廷册封冯盎，更重要的是要向岭南诸俚部落广泛宣赞冼夫人为保持岭南稳定所做的贡献，使诸俚部落首领真正意识到岭南归化朝廷对岭南诸俚有百益而无一弊，只有这样，才能使岭南俚人心向朝廷，断绝与叛军的往来，也才能尽快平定李佛子叛乱。”杨广目光炯炯地扫视着众僚属，郎声传令道，“即刻回复刘方，命其重新整饬人马，务于三月之内平定李佛子叛乱，亲来广陵向本王献上李佛子的首级；同时，由张衡、麻叔谋负责，挑选忠勇能言之士分赴岭南诸俚部落长驻，随时监视其动向；派使节携大隋疆域图赶往扶南国都沧浪城面见其国君，向其申明交州乃我大隋固有之领土，不容任何人私相授受，如其不能从速拒纳李佛子叛军为其子民，就等同于入侵我大隋，本王必定亲率大军伐灭之。”
一番话说得掷地有声，以张衡、郭衍为首的一众僚属异口同声地答道：“大王英明，我等皆唯王命是从。”
杨广于当日召集众僚属会商罢岭南军务、政务之后，屏退众人，在高昌、宇文士及的随侍下回到后堂，正欲提笔给父皇杨坚草拟一道奏章，将岭南近来局势的变化以及自己方才提出的