小提示：系統(tǒng)更新不會(huì)涉及前臺模板及網(wǎng)站數(shù)據(jù)等。
更新日志：
1、[新增]Robots.txt技巧指南；
2、[優(yōu)化]屏蔽部分無效的URL，搜索引擎抓取時(shí)返回404；
3、[優(yōu)化]屏蔽部分無效的爬蟲，減低對服務(wù)器的壓力；
4、[修復(fù)]后臺無法登錄的問題；
更新下插件。另外怕蜘蛛抓取的話 可以在網(wǎng)站協(xié)議里面添加下 禁止爬取 即可！
可以查看蜘蛛插件說明
如何拒絕搜索引擎爬取不相關(guān)的JS接口URL；
如下圖所示：JS接口URL都有一個(gè)特性，前綴是 /index.php?m=api&c=Ajax&a=
可以編輯網(wǎng)站的根目錄下robots.txt文件，追加一條如下代碼：
Disallow: /index.php?m=api&c=Ajax&a=*
2、如何拒絕搜索引擎爬取不想被收錄的插件URL；
如下圖所示：每個(gè)插件URL都有一個(gè)特性，前綴是 /index.php?m=plugins&c=插件標(biāo)識
紅色圈住的是一個(gè)微信分享插件，如果這個(gè)URL在瀏覽器上打開是無效頁面，可以通過如下robots.txt規(guī)則進(jìn)行屏蔽，拒絕搜索引擎爬取。
編輯網(wǎng)站的根目錄下robots.txt文件，追加一條如下代碼：
Disallow: /index.php?m=plugins&c=WeixinShare&a=*