robots非标准扩展协议
Crawl-delay 指令:几大抓取工具支持Crawl-delay参数，设置为多少秒，以等待同服务器之间连续请求，如:
User-agent:
*Crawl-delay:10
来源：360站长平台
“robots非标准扩展协议” 的相关文章
Robots META标签的写法2022年03月31日 21:25:01
巧用robots文件管理引导搜索引擎蜘蛛对网站的抓取2022年04月01日 21:58:37
如何使用Robots避免蜘蛛黑洞？2022年04月08日 22:00:14
玩转robots协议2022年04月20日 19:46:56
搜索引擎的Robots协议2022年04月27日 09:10:55
Robots文件的作用和规范写法2022年04月29日 10:19:11
禁止搜索引擎收录的方法2022年05月04日 10:31:25
关于robots.txt的二三事2022年05月06日 20:29:16