首页 > 搜索引擎, 系统管理 > SosoSpider及恶意蜘蛛屏蔽

SosoSpider及恶意蜘蛛屏蔽

2009年1月29日

最近从网络日志看到有很多陕西电信IDC的访问,占我们www总访问数的一半,ip都是124.115.0.X和124.115.4.X,总共约有60多个IP。网上搜索了一下,发现这是sosospider,文章参见:

http://www.wangzhongyuan.com/archives/522.html
http://www.cnzzr.cn/2008/02/sosospider-124-115.html

由于这个sosospider不遵守行规,不读取robots.txt,并且User-agents中没有spider信息,而且还带有referer,伪装成普通用户,封闭的办法只有禁止IP:

Order Allow,Deny
Allow from all
Deny from 124.115.4. env=bad_bot
Deny from 124.115.0. env=bad_bot

注意这里deny和allow的顺序,对于其他恶意搜索引擎,可以用:

SetEnvIfNoCase User-Agent “Indy Library” bad_bot

Order Allow,Deny
Allow from all
Deny from env=bad_bot

nginx配置如下:

location / {
    deny   124.115.4.0/24;
deny 124.115.0.0/24;
    allow    all;
}

VN:F [1.9.22_1171]
Rating: 0.0/10 (0 votes cast)
VN:F [1.9.22_1171]
Rating: 0 (from 0 votes)

搜索引擎, 系统管理

  1. 本文目前尚无任何评论.
  1. 本文目前尚无任何 trackbacks 和 pingbacks.

This blog is kept spam free by WP-SpamFree.