当前位置:SEO自学网 > 网站SEO优化教程 > 网站结构优化 > robots.txt文件放在哪里?

robots.txt文件放在哪里?

admin2022年05月19日 19:37:09网站结构优化128

robots.txt文件放在哪里?

robots.txt文件应该放置在网站根目录下。举例来说,当spider访问一个网站(比如 http://www.abc.com)时,首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件,如果 Spider找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。

网站 URL

相应的 robots.txt的 URL

http://www.w3.org/

http://www.w3.org/robots.txt

http://www.w3.org:80/

http://www.w3.org:80/robots.txt

http://www.w3.org:1234/

http://www.w3.org:1234/robots.txt

http://w3.org/

http://w3.org/robots.txt

来源:百度搜索资源平台 百度搜索学堂


扫描二维码推送至手机访问。

版权声明:本文由SEO自学网发布,如需转载请注明出处。

本文链接:http://www.seozixuewang.com/post/4909.html

标签: Robots

“robots.txt文件放在哪里?” 的相关文章