网管程序员论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

查看: 1306|回复: 0

通过robots设置搜索引擎的抓取速度

[复制链接]
发表于 2012-7-10 22:56:33 | 显示全部楼层 |阅读模式
User-agent:Baiduspider
Visit-time:0855-1700
说明:指定每天允许百度蜘蛛采集的时间段,格式为mmss-mmss,例如0855-1700

User-agent:Baiduspider
Request-rate:1/5 0900-1045
说明:限制百度蜘蛛在允许的时间段内(0900-1045)隔多少秒采集一次网页,例如1/5 0900-1045。

User-agent:Baiduspider
Crawl-delay:3600
说明:限制百度蜘蛛两次抓取的间隔时间,单位为秒。建议在蜘蛛的抓取频率过高时,可以制定蜘蛛抓取时间间隔,来降低服务器的负担,减少流量的不必要流失。

您需要登录后才可以回帖 登录 | 注册

本版积分规则

QQ|小黑屋|手机版|Archiver|最新更新|网管程序员社区 鄂ICP备11008024号-3

GMT+8, 2019-10-23 12:37 , Processed in 0.109200 second(s), 24 queries .

Powered by 网管论坛

© 2001-2018 www.027safe.com Inc.

快速回复 返回顶部 返回列表