讲官们对于寺院的不断扩张也是极为反感，但是东南地区佛教势力很大，讲官们建议朱载坖慎重处理。
确实，东南佛教昌盛，若是没有一个正当理由的话，恐怕很难动这些寺院和秃驴。
朱载坖问道：“陆绎，可有什么好的理由？”
陆绎想了想说道：“殿下，何不以通倭为由？”
朱载坖明白陆绎说的意思，东南沿海倭乱兴起，朝廷实行海禁，但是这些和尚僧人私创寺院，收揽民众，在倭患严重时作为贼寇侵略本地的助手。这事已经是被地方州县证实了的，倒不是锦衣卫胡乱攀咬。
朱载坖说道：“就以此为由，整顿寺院！”
朱载坖将海瑞、赵贞吉、唐顺之叫来，告知自己的想法，同时希望赵贞吉以南直隶巡按的身份主持此事。
朱载坖说道：“僧侣勾结倭奴入寇，滋蔓既久，遂成大乱，若不早图，恐生大乱也！”
对于朱载坖的看法，赵贞吉等人倒是并不反对，江南佛教兴盛，确实已经到了影响大明朝廷的地步。
而且嘉靖本人对佛教就极为反感，嘉靖继位之初，显示出强烈地排佛意向与决心，首先就规定了寺田起科，僧道同服徭役。针对原先僧尼可以免除徭役，嘉靖作出改变，度牒僧人有田粮者编入黄册，同里甲供应赋役。无粮者编入带管畸零。不再享受免役特权。
同时将私度的僧人尽皆还俗，嘉靖下诏：僧徒愿自还俗者，听其自由安便。各处寺院任其颓坏，不许修葺。民间幼童不许舍身为僧，私自披剃。凡中外一切游聚尼僧，俱勒令还俗婚配，罢毁所居浮屠庵院，违者重惩，如令诏可。
不过嘉靖的这些诏书只在京师附近有用，在南方没什么效果，不过朱载坖这次准备在东南把嘉靖的诏令推广下去，免得这帮和尚搞事情。
唐顺之说道：“殿下，江南地区自古以来有尚鬼神崇佛的习俗。此风俗早已融入江南民众的日常生活，在他们的观念里根深蒂固，无法磨灭。”
朱载坖当然知道这节，如果不是这样的话，佛教也不可能再江南发展起来。
不过唐顺之的另一个观点倒是引起了朱载坖的兴趣。唐顺之认为佛教在东南的冗滥，和沉重的徭役有密不可分的关系。
对农民来说，徭役负担来自里甲正役和杂役。负担里甲正役的是耕种官田农户，并且那些没有田地完全靠耕种官田的人户也被纳入里甲组织，必须承担里甲正役。拥有民田，又从事官田经营的人户也必须担当里甲正役。
除了承担正役外，还需承担杂泛差役。 杂泛差役以丁分，依据人丁多寡、产业厚薄分上中下三等。有田地的丁承担正杂二役，有丁无田承担杂泛差役。
这个徭役的范围非常之广泛，粮长、解户、马船头、馆夫、祗候、弓兵、皂隶、门禁、厨斗为常役。 后又有斫薪、抬柴、修河等差役，百姓往往被徭役折磨的无法生存。
而拥有度牒，或者遁入空门，就可以逃避徭役，不少百姓正是在这种情况下进入寺庙的，唐顺之认为，如果不改变这个情况，恐怕即便是朱载坖动用雷霆手段，恐怕也是治标不治本。
唐顺之的这个担心，确实很有道理，繁杂沉重的赋役确实会逼迫百姓遁入空门。
但是并非没有办法，而且这个办法已经在大明有了雏形，就是均徭。但是上一次的尝试以失败告终，嘉靖十六年，在内阁辅臣顾鼎臣力主下，应天巡抚欧阳铎主持、苏州知府王仪、常州知府应槚与松江知府黄润等人具体实施的征一法改革。
所谓征一法，就是以县为单位，编除预算丁粮与银力差总数之外，还精确计算出每丁、每田该出数目，当时规定的是每丁银一分，每田一亩银七厘七毫， 官为收贮，自行雇役。
征一法唐顺之是亲身参与了的，唐顺之在与时任苏州知府王仪讨论徭役改革时则提到：曩时轮岁编差，则豪民以贿避力差而请银差。今时岁岁编差，则豪民以贿避差头而请贴户。就指出了征一法最大的问题，就是士绅们任然可以钻空子逃避徭役，而百姓反而要年年缴纳均徭银，这对于百姓来说，是极为不公平的。
继任的南直隶巡抚夏邦谟也认为：均徭旧规十年一编本有一劳九逸之宜，缘何建议更改，即今一年一编似有众轻易举之便， 缘何民不乐从。二者之间要见何者便民，何为病民，何者经久可通，何为窒碍难行，不许泛为两可及避嫌迁就，以贻民患。
同时，征一法的实施的过程中，暴露出极大的问题，民户在役银的催征、给领等环节中会受到公人的多次盘剥，而委托揽纳户交税的需求就会再次产生。
同时，地方州县官员就没有足够的能力保证赋役审编的公正性，只会增大了户书里胥等中间层的权力，势必更难驾驭。造成的后果就是乡绅大户更便于通过贿买里书而避役，小民却反受其害。
所以当年的唐顺之是坚决反对征一法，而征一均徭实施到现在，弊端就更加多了。这两年朝廷为了抵御倭寇，大举募兵，所费银两以十万计，这些银子从哪里来的？大部分都是挪借的地方的均徭银，甚至是预征数年之后的均徭银，银子已经被用了，但是地方州县还有很多事务未曾办理。
到时候州县官吏怎么办？州县官吏也变不出银子了，只能伸手再找百姓要，自嘉靖十六年实行征一法以来，每丁征银已经为原来的 4倍，每亩田征银接近原来的6.5倍，一户若有丁几人、田几亩，所交丁田银当不啻原额的五六倍。
百姓的负担比之原来更重，在力役亲充的时期，民众为避免官府的盘剥，一般会私自雇募揽纳户替其充役。而现在朝廷只要钱，关键是银子征了之后，事情却还没办，到时候免不了继续向百姓伸手。