搜索问答剧场【七】“robots文件”常见问题解析

admin2022年11月03日 20:02:33网站结构优化3972
哈喽大家好!【搜索问答剧场】最新一集如期而至,平小雕又带着满满的知识干货回来啦!准备好迎接知识的洗礼了嘛?第五集【搜索问答剧场】中,跟大家提到了【Robots】工具。本期就来详细教大家如何灵活地使用【Robots】工具,以及如何正确设置网站整体的抓取范围。一、了解robots文件1、Q:什么是robots文件?A:robots文件用于指定spider在网站上的抓取范围,在文件中可以声明网站中不想被搜索引擎抓取或指定被抓取的资源。2、Q:robots.txt文件怎么写?文件包含一条或更多的记录,这

网站如何做好 301/302 跳转

admin2022年06月25日 20:11:32网站结构优化552
概念解释301跳转是指页面永久性移走(永久跳转),通常叫做301跳转,也叫 301重定向 ,301转向。301跳转多用于旧网址在废弃前转向新网址以保证用户的访问,在诸多服务器中,均支持本跳转方法。302重定向又称之为暂时性转移(临时跳转),英文名称:302 redirect。 也被认为是暂时重定向 ,一条对网站浏览器的指令来显示浏览器被要求显示的不同的URL,当一个网页历过短期的URL的变化时使用。一个暂时重定向是一种服务器端的重定向,能够被搜索引擎蜘蛛正确地处理。应用场景301跳转是在网站改版

【院长帮帮忙】第四期:URL构成越简单越平常越好

admin2022年05月21日 21:32:28网站结构优化400
SEO不是事后工作,在站点在建设之初就要考虑到如何对搜索引擎友好。在院长看来,与其出手阔绰、花大价钱买个域名,不如找个经验丰富的SEO人员在站点结构等基础工作上多下工夫——这期院长帮帮忙,说的正是一个大家容易忽略的细节问题:url构成。先说结论吧:url构成(或者叫url规则)越简单越平常,百度处理起来越顺畅,越容易正确生效。院长收到的case是这样的,站长反应:跳转适配的PC页和移动页,内容可以做到一一对应,通过移动适配工具提交了规则适配,但一直无法正确生效。示例链接:http://www.1

网站误封Robots该如何处理

admin2022年05月20日 19:18:51网站结构优化387
robots文件是搜索生态中很重要的一个环节,同时也是一个很细节的环节。很多站长同学在网站运营过程中,很容易忽视robots文件的存在,进行错误覆盖或者全部封禁robots,造成不必要损失!那么如果误操作封禁了robots怎么办?今天我们请到了厦门258网站运营负责人——郑军伟,为我们分享网站robots误封禁后该如何操作?【案例背景】网站开发2.0版本,技术选择了在线开发,为了避免搜索引擎抓取开发版本,要求技术人员设置了Robots封禁处理。2.0版本开发周期1个月,1个月后网站版本迭代,直接

Robots文件是否支持中文目录

admin2022年05月20日 19:07:21网站结构优化397
有同学问百度站长学堂一个关于robots的问题:我们有个站点的目录结构使用的是中文,这样式儿的:www.a.com/冒险岛/123.html,那在制作robots文件和sitemap文件的时候,可以直接使用中文吗?百度能获取到吗?在实际操作中我们发现,sitemap中有文件是可以生效的,但robots封禁貌似没有反应,所以想确认一下:robots文件是否支持中文?工程师解答:Baiduspider目前(2016年10月)在robots里是不支持中文的。同学追问:那我们进行UrlEncode编码会

禁止搜索引擎收录的方法

admin2022年05月20日 19:06:43网站结构优化746
1. 什么是robots.txt文件?搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt,在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录

巧用Robots避免蜘蛛黑洞

admin2022年05月20日 19:06:15网站结构优化373
对于百度搜索引擎来说,蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多,及内容雷同但具体参数不同的动态URL ,就像一个无限循环的“黑洞”将spider困住,Baiduspider浪费了大量资源抓取的却是无效网页。比如很多网站都有筛选功能,通过筛选功能产生的网页经常会被搜索引擎大量抓取,而这其中很大一部分检索价值不高,如“500-1000之间价格的租房”,首先网站(包括现实中)上基本没有相关资源,其次站内用户和搜索引擎用户都没有这种检索习惯。这种网页被搜索引擎大量抓取,只能是占用网站宝贵的抓取配

网站误封Robots该如何处理

admin2022年05月19日 19:48:31网站结构优化362
robots文件是搜索生态中很重要的一个环节,同时也是一个很细节的环节。很多站长同学在网站运营过程中,很容易忽视robots文件的存在,进行错误覆盖或者全部封禁robots,造成不必要损失!那么如果误操作封禁了robots怎么办?今天我们请到了厦门258网站运营负责人——郑军伟,为我们分享网站robots误封禁后该如何操作?【案例背景】网站开发2.0版本,技术选择了在线开发,为了避免搜索引擎抓取开发版本,要求技术人员设置了Robots封禁处理。2.0版本开发周期1个月,1个月后网站版本迭代,直接

robots.txt文件的格式

admin2022年05月19日 19:47:56网站结构优化368
robots文件往往放置于根目录下,包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:"<field>:<optional space><value><optionalspace>"在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow和Allow行,详细情况如下:Us

robots.txt文件放在哪里?

admin2022年05月19日 19:37:09网站结构优化455
robots.txt文件放在哪里?robots.txt文件应该放置在网站根目录下。举例来说,当spider访问一个网站(比如 http://www.abc.com)时,首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件,如果 Spider找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。网站 URL相应的 robots.txt的 URLhttp://www.w3.org/http://www.w3.org/robots.txthttp://

什么是死链&死链的标准

admin2022年05月19日 19:26:42网站结构优化395
页面已经无效,无法对用户提供任何有价值信息的页面就是死链接,包括协议死链和内容死链两种形式:1)协议死链:页面的TCP协议状态/HTTP协议状态明确表示的死链,常见的如404、403、503状态等。2)内容死链:服务器返回状态是正常的,但内容已经变更为不存在、已删除或需要权限等与原内容无关的信息页面。目前内容死链召回存在召回率的风险,所以建议各位站长尽量使用协议死链,以保证平台工具更好地发挥其作用。来源:百度搜索资源平台 百度搜索学堂

什么是移动Sitemap协议,如何提交移动Sitemap协议

admin2022年05月19日 19:25:13网站结构优化450
百度推出了移动Sitemap协议,用于将网址提交给移动搜索收录。百度移动Sitemap协议是在标准Sitemap协议基础上制定的,增加了<mobile:mobile/>标签,它有四种取值:<mobile:mobile/> :移动网页<mobile:mobile type="mobile"/> :移动网页<mobile:mobile type="pc,mobile"/>:自适应网页<mobile:mobi

创建Sitemap时有哪些注意事项?

admin2022年05月19日 19:24:01网站结构优化428
第一,一个Sitemap文件包含的网址不得超过 5 万个,且文件大小不得超过 10 MB。如果您的Sitemap超过了这些限值,请将其拆分为几个小的Sitemap。这些限制条件有助于确保您的网络服务器不会因提供大文件而超载。第二,一个站点支持提交的sitemap文件个数必须小于5万个,多于5万个后会不再处理,并显示“链接数超”的提示。第三,如果验证了网站的主域,那么Sitemap文件中可包含该网站主域下的所有网址。第四,搜索资源平台sitemap文件提交已不再支持索引型文件形式,历史提交的索引型

百度Sitemap支持哪些格式

admin2022年05月19日 19:23:30网站结构优化437
百度Sitemap协议支持文本格式和xml格式,可以根据自己情况来选择任意一种格式组织sitemap。具体格式说明及示例如下:1.第一种格式样例:txt文本格式在一个txt文本列明需要向百度提交的链接地址,将txt文本文件通过搜索资源平台进行提交http://www.example.com/repaste/101562698_5230191316.htmlhttp://www.example.com/repaste/101586283_5230215075.htmlhttp://www.exam

什么是Sitemap

admin2022年05月19日 19:22:54网站结构优化428
Sitemap(即站点地图)就是您网站上各网页的列表。创建并提交Sitemap有助于百度发现并了解您网站上的所有网页。您还可以使用Sitemap提供有关您网站的其他信息,如上次更新日期、Sitemap文件的更新频率等,供百度Spider参考。百度对已提交的数据,不保证一定会抓取及索引所有网址。但是,我们会使用Sitemap中的数据来了解网站的结构等信息,这样可以帮助我们改进抓取策略,并在日后能更好地对网站进行抓取。此外,Sitemap 与搜索排名没有关系。来源:百度搜索资源平台 百度搜索学堂

浅谈404问题

admin2022年05月16日 20:48:17网站结构优化419
今天为什么要说一下404问题呢,最近看case过程中发现个很有意思的网站,该网站被灌了大量的垃圾信息,被其发现后及时地进行了删除,这一点是值得肯定的。通常情况下,正常网站将自动返回404状态码,搜索引擎进行更新并删除,避免对网站用户及搜索引擎带来负面影响。但问题来了,该网站只删除了内容,没有任何主体内容的页面被保存了下来,未做404处理。当然,存在一类网站只删除内容后返回正常200状态码,提醒一句“该内容已删除”,但其都没有。可以发现目前这个搜藏中的url仍然正常返回200,http://can

使用Canonical 标签时要特别注意的两点

admin2022年05月16日 20:44:12网站结构优化369
使用Canonical 标签时要特别注意的两点】1,百度虽然支持Canonical标签,但并不保证完全遵守该标签。请站长注意,最好在完全相同的网页中使用Canonical标签——这样可以提升Canonical标签的使用效果。*之前的帮助文档中的确提到高度相似的网页也可以使用Canonical标签,但在实际过程中我们发现,相似网页使用Canonical标签的成功率较低。2,还有一点非常非常重要,请各位站长在设置Canonical标签前,仔细检查两个网页是否真的完全相同——一旦百度发现其中一个Can

Canonical标签与301的区别

admin2022年05月16日 20:43:24网站结构优化355
Canonical标签与301的区别】1,在几个网页内容完全相同(或高度相似)的时候,如果希望两个网页都可以被用户正常访问到,就使用Canonical标签;如果仅让用户访问其中的一个,直接使用301跳转更方便。来源:百度搜索资源平台 百度搜索学堂

再谈Canonical标签

admin2022年05月16日 20:43:00网站结构优化366
前几天站长社区有站长朋友谈了一下对Canonical标签的看法,认为这是一个与301类似、解决网站内重复页面的好办法。那么我们来谈谈这两者有什么区别,使用Canonical标签时又该注意些什么。【Canonical标签与301的区别】1,在几个网页内容完全相同(或高度相似)的时候,如果希望两个网页都可以被用户正常访问到,就使用Canonical标签;如果仅让用户访问其中的一个,直接使用301跳转更方便。2,使用Canonical 标签的前提是几个网页一定是完全相同(或高度相似)的,而301则没有

建立符合搜索抓取习惯的网站

admin2022年05月16日 20:35:16网站结构优化707
编者按:前两周简要地给大家介绍了搜索抓取系统工作原理,根据该工作原理今天简要介绍一下如何建立网站是符合搜索引擎抓取系统习惯的。1、简单明了的网站结构Spider抓取相当于对web这个有向图进行遍历,那么一个简单明了结构层次分明的网站肯定是它所喜欢的,并尽量保证spider的可读性。(1)树型结构最优的结构即“首页—频道—详情页”;(2)扁平首页到详情页的层次尽量少,既对抓取友好又可以很好的传递权重。(3)网状保证每个页面都至少有一个文本链接指向,可以使网站尽可能全面的被抓取收录,内链建设同样对排

我希望我的网站内容被百度索引但不被保存快照,我该怎么做?

admin2022年05月14日 19:27:57网站结构优化338
我希望我的网站内容被百度索引但不被保存快照,我该怎么做?Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置,使百度显示只对该网页建索引,但并不在搜索结果中显示该网页的快照。和robots的更新一样,因为搜索引擎索引数据库的更新需要时间,所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照,但百度搜索引擎数据库中如果已经建立了网页索引信息,可能需要二至四周才会在线上生效。来源:百度搜索资源平台 百度搜索学堂

为什么我的网站已经加了robots.txt,还能在百度搜索出来?

admin2022年05月14日 19:27:36网站结构优化361
为什么我的网站已经加了robots.txt,还能在百度搜索出来?因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页,但百度搜索引擎数据库中已经建立的网页索引信息,可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。如果您的拒绝被收录需求非常急迫,也可以通过反馈中心反馈请求处理。来源:百度搜索资源平台 百度搜索学堂

ETag助力站点提交Sitemap——ETag简介与作用

admin2022年05月14日 19:16:51网站结构优化435
一、ETag简介ETag(EntityTags)是URL的tag,用来标示URL对象是否改变,这样可利用客户端(例如浏览器)的缓存。由服务器首先产生ETag,客户端通过将该记号传回服务器要求服务器验证其(客户端)缓存。服务器使用它来判断页面是否已经被修改,如果未修改返回304,而不必重新传输整个对象。二、现在站点Sitemap存在的问题1.发现更新不及时当站点或其Sitemap发生更新时,百度难以及时发现并响应,因为百度难以无时无刻地持续检查站点内容和Sitemap是否更新。2.全量抓取,消耗带

ETag使用效果对比&经验分享

admin2022年05月14日 19:15:39网站结构优化425
提起向百度提交数据,大家基本都会想到sitemap,最近又推出的ETag是什么东东?真的能有效果吗?其实在ETag推出之初,我们平台的非技术人员对效果也是没有预期的,于是请智联招聘SEO负责人桃李重点关注数据变化,就是希望能给各位同学看到最真实的效果。sitemap是解决网站收录至关重要的途径之一,而通常sitemap的更新都不是很及时,并且体量都相对较大,,此时也消耗了相应的网站流量及带宽。而ETag可以用来标示网页是否发生了变化,如果没有变化返回304状态码,就不用再重新传输整个网页了。在我

关于网站URL设计的友好提示

admin2022年05月13日 21:20:28网站结构优化398
关于网站的URL设计,虽然很少有人问到院长,但是,院长却见过了各种各样五花八门的URL,现在,院长和大家聊聊什么是友好的URL设计1、在搭建网站结构、制作URL时,尽量避开非主流设计,追求简单美即可, 越简单越平常,越好2、不建议URL中含有中文字符,中文字符容易出现识别问题3、URL长度要求从www开始到结束,总长度不超过1024个字节4、避免无效参数,如ll等5、谨慎使用#参数,有可能会被爬虫截断,导致井号后面的url字符不生效,最终效果是网页抓取失败6、避免出现太多无效目录,目录不宜过深,