但是赵昺以为在乡士绅并非皆是如此，如身边的倪亮一家、庄公从兄弟、伍隆起等等许多人皆是乡绅出身，但是在国难之时，他们纷纷毁家赴难，率乡民勤王。而在行朝转战两广的时期，也有诸多乡绅捐钱、捐物，可以说这一部分人为复国做出极大的贡献，所以对乡绅不能一概以劣绅视之。
不过刘辰翁看似无心的几句话还是给了赵昺很大的启迪，让他意识到士绅集团也非是铁板一块，他们之中也要分左中右的。
而今那些追随，或曾经追随行朝的士绅，他们许多人随着朝廷的回归，成为新的既得利益者，有授官的，有封爵的，有蒙荫的，他们已经成为朝廷坚定的支持者。
还有一部分就是如刘辰翁所言的官宦世家，他们祖上曾经在朝廷中担任要职，后致仕还乡成为当地士绅，但是子弟又多有通过科举，或是蒙荫进入仕途。这些人家中颇有财产，在地方又有声望。在蒙元入侵后，一些人如江氏兄弟召集义军勤王护国，为国尽忠。
也有些人在亡国隐居乡野，不接受敌朝的征辟，蒙元对这些不识时务的前朝遗老遗少自然是竭力打压，进行迫害。这些士绅一部分舍弃所有，追随着行朝转战南北；一部分在行朝迁琼后，也通过各种渠道投奔行朝；另一部分为国守节，为逃避蒙元的迫害隐姓埋名四处躲藏。
这部分士绅投奔行朝的，大部分都得到了重用，甚至成为国之重臣，或是新贵。而那些守节的士绅，在回归江南后，朝廷归还了他们的田产，恢复了他们的功名，征辟官员也优先从中选拔。但是赵昺为了能保证新朝政令畅通，同时也出于维护皇族的私心，对官宦世家进行了压制。因而这些士绅应该还算是利益既得者，但他们对皇帝仍处于观望期，算是中间派。
偏据乡下的那些正牌乡绅，多是过了乡试和州试的士子，或是些当了一辈子小官僚的致仕还乡的小官僚，他们的人数最多，与朝廷的粘结度不高，甚至还有些怨念。他们靠着身上些许功名和特权得以‘闻达’乡里，成为乡间的‘权贵’，在皇权不下乡的年代就是一方土皇帝。
而蒙元入侵对他们影响不大，甚至还有些利好，前朝自然也就很快成了忆梦。对于新主子说不上多么上忠心，却也颇有好感，但士人在蒙古人眼中不值钱，得到入仕机会的人很少，大多数人主动承担起维护乡间秩序的责任。
不过乡绅们受制与权力和影响力有限，也难以做出大奸大恶之事，没有被朝廷彻底清算，只是失去了部分财产，而随之以来的新政，剥夺了他们的特权和乡间话语权，让他们的利益受损，当然反对朝廷和皇帝新政的声音最大……