当前位置:SEO自学网 > 网站SEO优化教程 > 网站结构优化 > 360搜索对Robots协议的扩展

360搜索对Robots协议的扩展

admin2022年03月29日 20:30:17网站结构优化565

360搜索根据站长们的反馈,会陆续推出扩展的Robots协议命令。这些命令将能帮助站长们提高和360搜索爬虫沟通的效率,减少站长们维护Robots协议文件的技术成本。

360搜索首个扩展命令是:indexpage,站长们可以使用此命令告知360搜索哪些网页经常更新。360搜索会根据站长的指示以及自己的算法,智能调整爬虫抓取频率,实现对您网站新内容的更高频率抓取。

在命令中可以使用*、$等通配符。

示例:

使用通配符的

Indexpage: http://bbs.360safe.com/forum-*-1.html$

Indexpage: http://ent.sina.com.cn/*/roll.html

不用通配符的:

Indexpage: http://roll.tech.sina.com.cn/internet_all/index.shtml

Indexpage: http://roll.tech.sina.com.cn/it/index.shtml

Indexpage: http://roll.tech.sina.com.cn/tele/index.shtml

Indexpage: http://roll.tech.sina.com.cn/discovery/index.shtml

Indexpage: http://roll.tech.sina.com.cn/elec/index.shtml


扫描二维码推送至手机访问。

版权声明:本文由SEO自学网发布,如需转载请注明出处。

本文链接:http://www.seozixuewang.com/post/151.html

标签: Robots

“360搜索对Robots协议的扩展” 的相关文章

Robots文件的作用和规范写法2022年04月29日 10:19:11
禁止搜索引擎收录的方法2022年05月04日 10:31:25
关于robots.txt的二三事2022年05月06日 20:29:16
robots使用误区2022年05月06日 20:35:06
robot.txt在SEO中的作用2022年05月06日 20:36:53
robots非标准扩展协议2022年05月06日 20:37:32
常见Robots名字2022年05月06日 20:38:05
RobotsMETA标签的写法2022年05月06日 20:38:37