Google,百度齐上阵
登陆blog时随意看了下在线ip统计，发现搜索引擎的爬虫今天有些异常
| 访问者IP | 最后活跃时间 |
| 203.208.60.161 | 2009年9月29日17:06 |
| 203.208.60.162 | 2009年9月29日17:07 |
| 220.181.7.54 | 2009年9月29日17:09 |
| 220.181.7.24 | 2009年9月29日17:09 |
| 220.181.7.52 | 2009年9月29日17:09 |
| 220.181.7.49 | 2009年9月29日17:09 |
| 220.181.7.28 | 2009年9月29日17:09 |
| 220.181.7.19 | 2009年9月29日17:09 |
| 220.181.7.98 | 2009年9月29日17:09 |
| 220.181.7.22 | 2009年9月29日17:09 |
| 220.181.7.29 | 2009年9月29日17:11 |
| 220.181.7.107 | 2009年9月29日17:11 |
| 220.181.7.25 | 2009年9月29日17:11 |
| 220.181.7.34 | 2009年9月29日17:11 |
203.208.60.161 域名查询结果:
crawl-203-208-60-161.googlebot.com
220.181.7.54 域名查询结果:
baiduspider-220-181-7-54.crawl.baidu.com
203.208.60.0/24是Google的爬虫
220.181.7.0/24是Baidu的爬虫
我的blog内容不多，正常时也就各1个爬虫，今天这是怎么了。。。
我一看IIS LOG，一半的都是爬虫的~郁闷。
2009-10-04 05:30:59 202.160.178.226 – 192.168.1.102 80 GET /robots.txt – 404 Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html)
还有SOSO
Sosospider+(+http://help.soso.com/webspider.htm)
2009-10-04 01:33:46 124.115.0.169 – 192.168.1.102 80 GET /Default.asp – 200
这个是什么的爬虫？MSN的？
2009-10-04 01:45:30 65.55.207.72 – 192.168.1.102 80 GET /catalog.asp tags=SONY 200 msnbot/2.0b+(+http://search.msn.com/msnbot.htm)