百度robots中的user-agent
百度各个产品使用不同的user-agent：无线搜索Baiduspider-mobile图片搜索Baiduspider-image视频搜索Baiduspider-video新闻搜索Baiduspider-news百度搜藏Baiduspider-favo百度联盟Baiduspider-cpro商务搜索Baiduspider-ads网页以及其他搜索Baiduspider
robots 禁止快照
要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的 <HEAD> 部分：<meta name="robots" content="noarchive">要允许其他搜索引擎显示快照，但仅防止搜索引擎显示，请使用以下标记：<meta name="Baiduspider" content="noarchive">
Robots META标签的写法
Robots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。INDEX 指令告诉搜索机器人抓取该页面；FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NO
robot.txt在SEO中的作用
鉴于网络安全与隐私的考虑，搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件robots.txt，网站可以声明不想被robots访问的部分。每个网站都可以自主控制网站是否愿意被搜索引擎收录，或者指定搜索引擎只收录指定的内容。当一个搜索引擎的爬虫访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果该文件不存在，那么爬虫就沿着链接抓取，如果存在，爬虫就会按照该文件中的内容来确定访问的范围。robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写
robots.txt使用教程
用几个最常见的情况，直接举例说明：1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。2. 禁止所有SE收录网站的某些目录：User-agent: *Disallow: /目录名1/Disallow: /目录名2/Disallow: /目录名3/3. 禁止某个SE收录本站，例如禁止百度：User-agent: BaiduspiderDisallow: /4. 禁止所有SE收录本站：User-agent: *Disallow: /5. 加入sitemap.xml路径
robots.txt文件的格式
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示："<field>:<optionalspace><value><optionalspace>"。在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行,详细情况如下：Us
robots.txt文件放在哪里?
robots.txt文件应该放在网站根目录下。举例来说，当robots访问一个网站时，首先会检查该网站中是否存在这个文件，如果机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
robots是什么？
robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一
什么是GZIP，开启GZIP有什么好处
GZIP是网站压缩加速的一种技术，对于开启后可以加快我们网站的打开速度，原理是经过服务器压缩，客户端浏览器快速解压的原理，可以大大减少了网站的流量。什么是GZIP答：GZIP最早由Jean-loup Gailly和Mark Adler创建，用于UNIX系统的文件压缩。我们在Linux中经常会用到后缀为.gz的文件，它们就是GZIP格式的。现今已经成为Internet 上使用非常普遍的一种数据压缩格式，或者说一种文件格式。HTTP协议上的GZIP编码是一种用来改进WEB应用程序性能的技术。大流量的
在Unix/Linux主机上设置301永久重定向的方法
在Unix/Linux主机上设置的方法可以用.htaccess文件1. Apache模块 mod_alias的 Redirect 和 RedirectMatch命令上面提到2个命令使用方法相似。而区别就是后者RedirectMatch基于正则表达式匹配对当前的URL发送一个外部重定向语法为：Redirect [status] URL-path URLRedirectMatch [status] regex URLstatus参数可以使用以下HTTP状态码：permanent返回一个永久性重定向状
在windows主机上设置301永久重定向的方法
在windows主机上设置的方法可以在IIS服务器上设置也可以在代码中设置。1、在IIS服务器上设置301的方法这种设置方法需要有一个先天条件，那就是你有服务器的管理权，你可以直接操作IIS服务器，并且可以随意开通新的虚拟主机，否则你只能用修改网站代码的方法。首先开通一个新的虚拟主机，将你需要做301永久重定向的域名正常与该空间绑定，这个绑定的方法你可以咨询服务器托管商。然后打开“控制面板”→找到“管理工具”→打开“Internet 信息服务”。打开后，可以在管理器左侧树形菜单中找到你的网站，然
301永久重定向作用
301永久重定向是所有的重定向方法中一种符合搜索引擎规则的重定向方法，其他的重定向还包括302暂时重定向和JS跳转等，这些方式都容易导致URL不规范问题的产生。所以说如果你有多个域名都希望可以让他们访问同一个网站，那就只能将其中一个做为主域名，剩下的其他域名做301永久重定向到这个主域名，只有这样才可以让多个域名都访问一个站点，不会产生重复收录，导致网站被惩罚的现象
301永久重定向
301永久重定向是一种非常重要的“自动转向”技术，是网址重定向最为可行的一种办法。当用户或搜索引擎向网站服务器发出浏览请求时，服务器返回的HTTP数据流中头信息(header)中的状态码的一种，表示本网页永久性转移到另一个地址。301永久重定向：这是SEO中的一个基础名词，在URL规范化中会用到，也许大家都知道这个名词，但是由于应用的不是非常频繁，导致很多专业做SEO的朋友都不是很熟悉301永久重定向的具体操作方法
链接深度的具体作用
增加内页权重虽然，链接深度是网站的内部页面之间的链接，但如果这种内部链接达到一定的数量而且这一数量更是有质量的时候，那么网站内部页面的权重将会有极大的提升，随之而来的也是内部页面在搜索引擎搜索结果中排名的提升。有的时候我们可能会发现，某一网站内部页面在某一特定关键词下，在搜索引擎中排名会比首页要高得多，有可能就是这一页面的链接深度有“量”又有“质”造成的。增加首页权重由于网站的权重、PR值具有传递性，我们都能理解的是权重或PR的正向传递，即首页权重、PR依次传递给一级页面再到二级页面再到三级页面
链接深度是什么
SEO链接深度通俗点讲就是网站内部页面与对方网站内部页面的链接，或本网站内页之间的链接。对于不同站点，这种链接可以是单向的内部页面链接，也可以是双向的内部页面链接。比方说A网站的四级目录页面D可以和B网站的三级目录页面C相连。链接深度级别可以根据网站URL后面的“/”来进行区别，如，domainA/A/B/C/D.html链接接到domainB/A/B/C.html，可以看成是A网站的四级页面链接到了B网站的三级页面。这样分级后，更加容易理解链接深度一词。
Apache IIS/.net 制作404页面
Apache为Apache Server设置 404错误页面的方法很简单，只需：(1)在.htaccess文件中加入如下内容：ErrorDocument 404 /notfound.php，将.htaccess文件上传到网站根目录。(2)制作一个404页面，随便您设计，命名为notfound.php，同样上传到网站根目录。注意：（1）.切记不要将404错误转向到网站主页，否则可能会出现主页在搜索引擎中消失的情况。（2）.切记不要使用绝对URL，如果使用绝对URL会返回302+200的状态码。II
404页面错误原因
原因类型HTTP 404 错误意味着链接指向的网页不存在，即原始网页的URL失效，这种情况经常会发生，很难避免，比如说：网页URL生成规则改变、网页文件更名或移动位置、导入链接拼写错误等，导致原来的URL地址无法访问；当Web 服务器接到类似请求时，会返回一个404 状态码，告诉浏览器要请求的资源并不存在。导致这个错误的原因一般来说，有三种：1、无法在所请求的端口上访问Web站点。2、Web服务扩展锁定策略阻止本请求。3、MIME映射策略阻止本请求。
404页面作用
1.避免出现死链接网站设置404页面后，如果网站出现死链接，搜索引擎蜘蛛爬行这类网址得到“404”状态回应时，即知道该URL已经失效，便不再索引该网页，并向数据中心反馈将该URL表示的网页从索引数据库中删除。避免因为死链接影响网站收录。2.提升用户体验404页面通常为用户访问了网站上不存在或已删除的页面，服务器返回404错误页面，告诉浏览者其所请求的页面不存在或链接错误，同时引导用户使用网站其他页面而不是关闭窗口离开，消除用户的挫败感。3.避免信任度下降搜索引擎通过HTTP状态码来识别网页的状态
404页面是什么？
404页面是客户端在浏览网页时，服务器无法正常提供信息，或是服务器无法回应，且不知道原因所返回的页面。据说在第三次科技革命之前，互联网的形态就是一个大型的中央数据库，这个数据库就设置在404房间里面。那时候所有的请求都是由人工手动完成的，如果在数据库中没有找到请求者所需要的文件，或者由于请求者写错了文件编号，用户就会得到一个返回信息：room 404 : file not found。404错误信息通常是在目标页面被更改或移除，或客户端输入页面地址错误后显示的页面，人们也就习惯了用404作为服务
网站内部链接与权重如何分配才是最好
其实网站结构这块的优化需要解决的最重要问题包括收录以及页面权重分配。最经典是树形结构，是比较好的链接及权重分配模式。但是由于不同的网站采用的技术不同，要实现的功能、网站目的、运营思路都有可能不同，因此某些看起来是根据树形结构来做的网站，其实结构很奇怪。因此我们需要具体问题具体分析。 首先是解决重点内页的问题。一般来说，网站首页获得的内外部链接是最多的，权重最高。首页链接到一级分类页面，这些一级分类页面权重仅此于首页。大部分网站有多层次分类，权重就会依次下降，权重最低的就是最终产品内容页
站点地图创建方法
1、在网站地图的文本和超级链接里提及最主要的关键词短语，帮助搜索引擎来识别所链接的页面主题是什么。2、为每一个链接提供一个简短的介绍，以提示访问者这部分内容是关于哪方面的。3、提供文本链接到你站点上最主要的页面上；根据您的网站大小，网页数目的多少，甚至可以链接到所有的页面。4、为搜索引擎提供一条绿色通道，使搜索引擎程序把主要网页迅速收录进去。5、当用户查寻网站上原来看过的相关信息时，告诉他们如何去查询。只要在这一个网页内就可以得到所有希望查找的内容链接。6、帮助搜索引擎轻松索引一些动态页面。由于
站点地图生成工具
Xenu Link Sleuth可同时生成html格式地图（适用于小型站点）和XML格式地图。XML Sitemap在线生成工具，网站地址很多时，会比较浪费时间，要是生成所有的时候需要收费。Sitemap Generator强大的sitemap生成器，需下载安装客户端