网管程序员论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

查看: 1294|回复: 0

判断百度蜘蛛(Baiduspider)的真假方法

[复制链接]
发表于 2012-7-10 22:58:11 | 显示全部楼层 |阅读模式
目前中文互联网上有少量spider冒充Baiduspider抓取网页,周六madcon会上,发现很多同学不知道如何判断Baiduspider的真假,再次说明一下:

中文互联网上,Baiduspider ip的hostname以 *.baidu.com的格式命名,非 *.baidu.com即为冒充,建议您使用DNS反查方式来确定抓取来源的ip是否属于百度。

例如,在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer
baiduspider-123-125-66-120.crawl.baidu.com.

在windows平台下,可以用nslookup命令反解ip来判断是否来自Baiduspider的抓取。

点击“开始”-“运行”-“cmd”-“输入nslookup IP地址”-“回车”
C:\Documents and Settings\wangtao>nslookup 123.125.66.120

Name: baiduspider-123-125-66-120.crawl.baidu.com
Address: 123.125.66.120

详请参考:http://www.baidu.com/search/spider_chinese.html

PS:Baiduspider绝对不会以匿名的方式抓取网页。
您需要登录后才可以回帖 登录 | 注册

本版积分规则

QQ|小黑屋|手机版|Archiver|最新更新|网管程序员社区 鄂ICP备11008024号-3

GMT+8, 2019-10-21 18:22 , Processed in 0.109200 second(s), 26 queries .

Powered by 网管论坛

© 2001-2018 www.027safe.com Inc.

快速回复 返回顶部 返回列表