垃圾蜘蛛對網站優化起不到半點作用,反而因過度抓取,還容易導致CPU、帶寬占用過度,對于我們認可的蜘蛛反而會造成一定的影響,那么,我們在這里分一期欄目來講述一下如何屏蔽掉這些垃圾蜘蛛。
垃圾蜘蛛留下的日志信息:
54.36.148.196 Mozilla/5.0+(compatible;+AhrefsBot/7.0;++http://ahrefs.com/robot/)
通過分析,我們不難看出此垃圾蜘蛛的IP段為 54.36.148.0
因此,我們只要將此IP段地址添加到IIS中的IP地址和域限制就可以了。



至此,我們已經通過IP地址和域限制的設置對垃圾蜘蛛 AhrefsBot 進行了限制訪問。
網站無須三方授權 · 安全穩定、維護方便