常见的死链返回码
404 Not Found,表示服务器没有找到任何匹配请求URL的东西,没有说明这种情况是暂时的还是永久的。
410 Gone,表示请求的内容在服务器上不再可用,且没有已知的转发地址。410通常表示资源永久性的失效。
正常页面返回码:
200 OK,表示请求成功。
如果相关内容已删除或移动,不建议返回成功状态码(200 OK)而是返回404、410状态码。
204 No Content,表示这个请求没有要发送的内容,但是报头可能有用。用户代理可以使用新的报头来更新此资源的缓存头。
如果页面已经删除,请返回404/410,返回204可能给搜索引擎造成混淆。
其他返回码:
如果正常页面长期返回非2xx、3xx的错误码,可能会影响相应内容的收录和搜索展现。常见的错误码如下:
403Forbidden,表示客户端没有获取内容的权限。
429 Too Many Requests,表示用户在给定时间内发送了太多的请求。
500 Internal Server Error,表示服务器遇到了不知道如何处理的情况。
503 Service Unavailable,表示服务器还没有准备好处理请求。通常的情况是服务器超载或者正在维护。
如果由于抓取频次过高导致429、5xx错误,开发者可以在百度搜索资源-抓取频次-抓取频次上限调整页面对百度爬虫的抓取频次进行设置。
来源:百度搜索资源平台 百度搜索学堂