搜索引擎抓取系统概述（一）
编者按：站长朋友们，今后定期都将在这里跟大家分享一些有关搜索引擎工作原理及网站运营相关的内容，今天先简单介绍一下关于搜索引擎抓取系统中有关抓取系统基本框架、抓取中涉及的网络协议、抓取的基本过程三部分。互联网信息爆发式增长，如何有效的获取并利用这些信息是搜索引擎工作中的首要环节。数据抓取系统作为整个搜索系统中的上游，主要负责互联网信息的搜集、保存、更新环节，它像蜘蛛一样在网络间爬来爬去，因此通常会被叫做“spider”。例如我们常用的几家通用搜索引擎蜘蛛被叫做：Baiduspdier、Google
搜索引擎抓取系统概述（二）
编者按：之前与大家分享了关于搜索引擎抓取系统中有关抓取系统基本框架、抓取中涉及的网络协议、抓取的基本过程的内容，今天将于大家分享搜索引擎抓取系统第二部分内容—spider抓取过程中的策略。spider在抓取过程中面对着复杂的网络环境，为了使系统可以抓取到尽可能多的有价值资源并保持系统及实际环境中页面的一致性同时不给网站体验造成压力，会设计多种复杂的抓取策略。以下简单介绍一下抓取过程中涉及到的主要策略类型：1、抓取友好性：抓取压力调配降低对网站的访问压力2、常用抓取返回码示意3、多种url重定向的
百度不收录原因分析——Spider抓取篇
目前百度Spider抓取新链接的途径有两个，一是主动出击发现抓取，二就是从搜索资源平台的链接提交工具中获取数据，其中通过主动推送功能“收”上来的数据最受百度Spider的欢迎。对于站长来说，如果链接很长时间不被收录，建议尝试使用主动推送功能，尤其是新网站，主动推送首页数据，有利于内页数据的抓取。那么同学们要问了，为什么我提交了数据还是迟迟在线上看不到展现呢？那涉及的因素可就多了，在Spider抓取这个环节，影响线上展现的因素有：1、网站封禁。你别笑，真的有同学一边封禁着百度蜘蛛，一边向百度狂交数
搜索引擎检索系统概述
前面简要介绍过了搜索引擎的索引系统，实际上在建立倒排索引的最后还需要有一个入库写库的过程，而为了提高效率这个过程还需要将全部term以及偏移量保存在文件头部，并且对数据进行压缩，这涉及到的过于技术化在此就不多提了。今天简要给大家介绍一下索引之后的检索系统。检索系统主要包含了五个部分，如下图所示：索引&检索.jpg（1）Query串切词分词即将用户的查询词进行分词，对之后的查询做准备，以“10号线地铁故障”为例，可能的分词如下（同义词问题暂时略过）：10 0x123abc号 0x13445
百度Spider升级HTTPS抓取公告
8月份百度Spider升级了对HTTPS数据的抓取力度，HTTPS数据将更快被Spider抓取到。如网站还在做HTTPS的改造，且网站数据未搭建好，建议网站采取以下措施，避免Spider抓取，以免造成网站流量损失1、把HTTPS的协议封掉，可把443端口关掉；2、做HTTPS到http的301；3、建议站点在改HTTPS没改造好之前，不要提供超链接指向，以免被Spider抓到HTTPS。4、针对一个服务器下有多个域名的情况，建议未做HTTPS的网站，设置HTTPS抓取返回失败码，或将HTTPS站
百度Spider渲染UA在移动端全流量上线
百度Spider在2017年3月同时推出渲染UA在移动端和PC端进行内测（《百度Spider新增渲染UA抓取公告》），内测期间分析了多个抓取量异常的case，均非渲染UA造成。本周百度Spider渲染UA在移动端全流量上线，PC端还未全部覆盖。特提醒PC站长，截止目前，对搜索引擎和用户有价值的内容，还是尽量不要使用JS加载的方式，以免造成不能索引等损失。来源：百度搜索资源平台
百度移动搜索site语法升级公告
随着pc端与移动端网站的融合，原有索引量数据的展现逻辑已经不足以满足用户的需求，3月中旬特别对移动端的site算法进行了升级，并已正式上线！1、移动端增加site语法卡片，直观展示网站在移动端的索引量；2、移动端site语法与站长平台的索引量工具打平，保证统计方式和统计数量的一致性；3、移动端增加适配索引量，通过pc适配过来的移动url也可以通过site或者搜索url进行展现;来源：百度搜索资源平台
百度Spider新增渲染抓取UA公告
为了给搜索用户更好的体验、对站点实现更好地索引和呈现，百度搜索需要访问网站的CSS、Javascript和图片信息，以便更精准地理解页面内容，实现搜索结果最优排名，百度搜索会全面启用最新UA来访问站点的上述资源。从3月24日（2017）开始，百度搜索抽取了部分优质站点进行抓取内测，可能会对站点服务器造成一定压力影响，请尽量不要对UA进行封禁，以免造成不可逆转的损失。最新UA如下：PC：Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http:/
关于封禁百度抓取UA的公告
近期发现部分网站出现抓取异常情况，主要问题是网站误封了百度UA。为了网站更好获得搜索展现，请各位站长按照以下UA进行排查，避免出现误封问题！移动 UAMozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46(KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible;Baiduspider/2.0; +http://www.baidu.com/search/s
百度搜索Spider3.0升级对站点有什么好处
近期百度搜索最大的动作应该就是百度Spider3.0升级了，简单的概括下升级的特点就是：抓取更实时，收录效率更快，对原创优质内容更青睐。此次升级是把当前离线、全量计算为主的系统，改造成实时、增量计算的全实时调度系统，万亿规模的数据进行实时读写，可以收录90%的网页，速度提升80%！『抓取、建库更快—提交的内容更容易被抓取』链接发现方面：如今sipder每天发现的新链接在500亿左右的量级，说明啥？你的站点内容越来越容易被Spider发现和抓取，而在百度站长平台提交链接是最为高效的，但是百度工程师
百度搜索资源平台-新版Baiduspider移动ua升级公告
亲爱的网站管理员：近日 ，Baiduspider针对移动抓取user agent（以下简称ua）进行了升级，与PC端的抓取ua做到版本统一，均称为Baiduspider/2.0。移动ua和pc ua详情如下：新版移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3(compatible; Baiduspide
关于site语法的说明
作者：百度站长平台 发布时间：2013年8月28日亲爱的网站管理员：近两日部分网站出现site查询数据降低的问题，我们已经在紧急跟进中，请广大站长耐心等待。同时澄清如下两个问题：1、并不存在所谓大规模“k站”，请站长朋友们安心；2、Site语法查询为估算值，精确度有限，请站长以百度站长平台索引量工具的数据为准。索引量工具地址：http://zhanzhang.baidu.com/indexs/index来源：百度搜索资源平台
搜索引擎对frame和iframe框架是否友好?
首先，Frame和iframe代码框架的意思是在当前页面中插入另一个页面,可以说是调用也可以说是使用代码插入。比方我们在的页面为a.html 对于a.html的页面我们存在不满意,但是为了达到某种目的。而再创建以个页面b.html 然后把b.html用js调用的方式或是其他div以及代码方式插入到a.html 。可以理解为b.html是当前页面中(a.html)的独立子页面,与父页面同时展示。需要注意的是,iframe结构在部分IE内核的浏览器中打开时会造成CPU的负担,当页面上iframe内容
搜索引擎工作原理
基本流程抓取网页。每个独立的搜索引擎都有自己的网页抓取程序爬虫（Spider）。爬虫顺着网页中的超链接，从这个网站爬到另一个网站，通过超链接分析连续访问抓取更多网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。处理网页。搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引库和索引。其他还包括去除重复网页、分词（中文）、判断网页类型、分析超链接、计算网页的重要度/丰富度等。提供
我想从搜索结果中删除整个网站或某个目录的内容？
情况一您是网站拥有者如果您是网站拥有者，则需要在验证网站所有权后申请删除整个网站或目录。为确保永久删除您的目录或网站，请使用 robots.txt 阻止抓取工具访问该目录（如果要删除的是网站，则应阻止抓取工具访问您的整个网站）。我们建议您在请求删除目录前或请求删除后不久执行该操作。否则，您的内容稍后可能会重新显示在搜索结果中。仅返回 404 HTTP 状态代码还不够，因为可能出现这样一种情况：即某个目录返回了 404 状态代码，却仍然分发其中的文件。通过使用 robots.txt 禁止抓取目录，
从搜狗永久删除内容如何操作？
情况一网页已不存在如果网页已不存在，请确保服务器返回 404（未找到）。这样可让搜狗知道该网页已不存在，无需再在搜索结果中显示。情况二网页仍存在请使用 robots.txt 阻止 sogou spider 进行抓取。请注意，在通常情况下，即使您已通过 robots.txt 禁止抓取某个网址，但如果我们在其他网站中发现该网址，仍会将相应网页编入索引。这里需要说明一点，如果页面变死链了，并且设置了robots.txt，那么搜狗的spider就不会再来更新，也就不知道这个页面变死链。情况三删除非 HT
内容变更/快照内容错误怎么办？
如果网页内容（无论是内容还是网页标题或者其他信息）已经更改或者发现搜狗网页快照与您的网页内容不一致，在我们下次抓取网站并刷新索引前，网页快照仍然会包含原有的内容。因而这些内容仍然会出现在搜索结果中，您可以申请更新快照（http://fankui.help.sogou.com/index.php/web/web/index?type=2）来告知搜狗更新快照信息。
什么是网页快照？
网页快照，英文名叫WebCache，网页缓存。搜狗在收录网页时，对网页进行备份，存在自己的服务器缓存里，当用户在搜索引擎中点击“网页快照”链接时，搜狗将搜狗Spider系统当时所抓取并保存的网页内容展现出来，称为“网页快照”。互联网上的网页并不是一成不变的，而是不断增加、删除、改动。因此，搜狗网页数据库中的网页也需要及时更新，既把互联网上网页重新复制一遍。如果你在你的网站上删除一张网页，那么搜狗数据库中的复制品-网页快照并不会立刻被删除，而是要过一段才会被删除。来源：搜狗资源平台
301重定向对收录、索引、site检索的影响？
页面永久性移走(301 重定向)是一种非常重要的“自动转向”技术。301重定向可促进搜索引擎优化效果,从搜索引擎优化角度出发，301 重定向是网址重定向最为可行的一种办法。当网站的发生301后，建议站长向平台提交域名变更。提交域名变更后，这时由于新域名各方面数据较少，此时搜狗会按照旧域名的收录、索引等展现在site检索新域名的结果下。但随着时间的推移，旧域名的收录、索引等数据会下降，而新域名的收录、索引等数据会上升。再这样进行转换必定是不科学的，因此搜狗会在一段时间后按照新域名的收录、索引等数据
为什么我的网站以前收录很快，现在收录慢了？
如果您的站以前发布新文章收录快，而现在发布新文章收录得慢甚至不收录。可能的原因是搜狗微调了收录策略，而现在收录慢的网站均是未达到实时收录（秒级）要求的网站。如前所述，大型的新闻站、优质站点、地方优质门户网站，内容更新后才能够达到秒级的收录。若发生此类情况，站长们应该第一时间反省自己的网站是否达到了实时收录的要求，若确实符合要求，再进行申诉。来源：搜狗资源平台
为什么我的网站收录量下降？
原因一：搜狗策略更新调整，对于搜狗引擎来说，更新调整是必须的，这才能不断提高用户得到的搜索结果的质量，一般的更新调整对于质量正常的网站的流量和排名并不大，此时小幅度的下降并不影响大局；但是对于质量本身存在问题的网站，如大篇幅影响正文阅读的广告、涉及色情、涉枪涉暴、违法乱纪等网站，这类网站往往会被策略的更新调整直接影响，这种情况下站长需要坚持提升网站质量，坚持非恶意优化，才能重新获得好的收录。原因二：网站被黑，有时会存在由于服务器不稳定，导致网站被入侵的现象。对于被黑，站长课堂中也有网站被黑的相关
收录、索引和site检索结果数之间的关系 ？
搜狗的收录量是搜狗抓取网站的页面数；而索引量是指网站被收录的页面中，筛选出更为优质的、进入索引库的页面。因此常会出现索引量低于收录量的现象，这是正常的，站长们可以不用担心。搜狗的site检索是一个预估的放出页面数，既不是收录量，也不是索引量，查询收录、索引以站长平台的网站分析工具的数据为准。如果收录量与索引量差异较大，一般是新站。如果是站的时间比较长，那就是网站的部分网页不再达到选入索引库的要求。互联网的网页每天都在增多，优质网页更是如此，如果您不坚持提升您的网站质量，重在为用户提供价值，那很有
新站建立后，需要多长时间能够被搜狗收录？
收录时间是根据您的网站质量、类型等综合因素考虑的。比如大型的新闻站、优质站点、地方优质门户网站，新站建立后能够达到秒级的收录；再往下一级的普通站点则需要天级；低质量站点的收录时间会达到周级以上甚至不保证收录。新站建立很长时间后，若未被搜狗收录，请到站长平台提交网站收录。来源：搜狗资源平台
sogou spider 喜欢收录什么样的页面
内容优良而独特的页面。如果您的页面内容和互联网上已存在的其他页面有高度的相似性，可能不会被 sogou spider 收录。链接层次较浅的页面。过深的链接层次，尤其是动态网页的链接，会被丢弃而不收录。如果是动态网页，请控制参数的数量和URL的长度。搜狗更偏好收录静态网页。重定向次数越多的页面，越有可能被 sogou spider 丢弃。来源：搜狗资源平台
搜狗spider的抓取频次是怎样的？
sogou spider 对于同一个 IP 地址的服务器主机，只建立一个连接，抓取间隔速度控制在几秒一次。一个网页被收录后，最快也要过几天以后才会去更新。如果持续不断地抓取您的网站，请注意您的网站上的网页是否每次访问都产生新的链接。如果您认为 sogou spider 对于您的网站抓取过快，请与我们联系，并最好能提供访问日志中sogou spider 访问的部分，而不要直接将搜狗spider的ua封禁。来源：搜狗资源平台