Jeff's Blog

最近从网络日志看到有很多陕西电信IDC的访问，占我们www总访问数的一半,ip都是124.115.0.X和124.115.4.X，总共约有60多个IP。网上搜索了一下，发现这是sosospider，文章参见：

http://www.wangzhongyuan.com/archives/522.html
http://www.cnzzr.cn/2008/02/sosospider-124-115.html

由于这个sosospider不遵守行规，不读取robots.txt，并且User-agents中没有spider信息，而且还带有referer，伪装成普通用户，封闭的办法只有禁止IP：

Order Allow,Deny
Allow from all
Deny from 124.115.4. env=bad_bot
Deny from 124.115.0. env=bad_bot

注意这里deny和allow的顺序，对于其他恶意搜索引擎，可以用：

SetEnvIfNoCase User-Agent “Indy Library” bad_bot
…
Order Allow,Deny
Allow from all
Deny from env=bad_bot

nginx配置如下：

location / {
    deny   124.115.4.0/24;
deny 124.115.0.0/24;
    allow    all;
}

相关文章:

1. 设置WordPress博客的Robots.txt

inetdemon 搜索引擎, 系统管理 spider