而且这江南与山东还不一样，像山东四大家，被个王玄连同刘才就给压制住，而江南世家的根脚就硬气多了。明朝的文臣南方人多，北方人少，连考试都要分南北榜，朝内替江南说话的官员多了，南方自然就硬扎了起来。而这江南地面上，又数世家势力最为庞大，与士人互相帮助，互为表里。
绍兴府从洪武年到现在，就出了将近500个进士，其中大半出自世家，越中名门子弟，入朝为官者遍布两京十三省，从科道言官到六部堂官，彼此互为奥援，势力庞大，成化年的名臣谢迁、王华，都是越中世家出身，王畿、徐爱、钱德洪、朱节等王阳明的弟子门生，更是当世一等一的了得人物。而大明朝开国功臣刘伯温，便是处州青田乡人，如今依旧是浙江省内数的着的名门大户；三辅吕夲的宗族，也在浙江，都是累世富贵，诗礼传家，打死了人，只需要留个奴仆顶罪，便可高枕无忧的大牛。
这些商人身后都有后台靠山，往往是京师里的高官显宦，又靠自己家族多年积累的人脉，便是朝中宰辅的府邸，一样任由他们往来，其能量绝对不容小觑。他们不能平灭倭寇，更不能把东南经略好，但如果得罪了他们，被全力一拼报复，那么破坏政略局面，却是很可能的。胡宗宪尽管已经掌握了一些这帮豪商背后捣乱的证据，却也不敢下手对付，生怕跟这些豪商的宗族结仇，自己到时便大为不妙。
徐文长知胡宗宪的心思，又道：“东翁顾忌，学生也知，此事更易办理。只等到严鸿来了，就把这事交给他做，到时候来个新贵对世家，看看谁的手段高明。不论胜负如何，都与东翁不伤。”
胡宗宪微微一笑，又问道：“扬州那边情形如何？可不要让李氏兄弟逃之夭夭，到时候便不好交代。”
徐文长道：“东翁放心，也不知道那李文藻是犯了什么病，或是听了什么狗头军师的屁话，一贯精明的人，居然和那蠢猪一般。出了这大事，不思远遁，反而藏匿在扬州，这不是自投罗网么？如今扬州城内外，都已经安排下我们的人马，三公子亲自坐镇，另有锦衣卫中的精干校尉，保证出不了闪失。我如今唯一担心的是俞大猷那边，这一战，闽勇损失大，战功微，怕是他心中有些怨气。”
胡宗宪冷笑道：“他有怨气又能如何？玩什么单舰冲阵，倒是威风，若是损毁了钦差那艘宝船，让我拿什么赔偿？若不是发现的早，他还要带人马打到舟山去，把汪直的直属倭寇一网打尽呢。这老匹夫脑子里除了打打打之外，还能不能放些别的东西？若不是看他有些微末功劳，我定要将他革职查办！他的事，便不必说了。先生且退下。”
徐文长知道，胡宗宪与俞大猷素来积怨颇深。而俞大猷对倭寇主张严厉打击，对胡宗宪的招抚之策颇不以为然，偏偏还把这不以为然的态度摆在台面上，更是让胡宗宪不满。当初因为倭寇大兵压境，用人之际，还要多多仰仗俞大猷，因此胡宗宪行事还要讲点顾忌。如今大敌既去，俞大猷这等武将便不再那么重要。宁波之战，俞大猷率领水师猛攻倭寇船只，断陈东、叶麻后路，一场浴血奋战，本是取胜的关键一步，胡宗宪却以斩首数量计功，又把徐海的参战作为分母，让俞大猷颇为不满，怕是今后还有的罪受。