网络和 DNS 错误会对 Google 能否成功抓取网址产生快速且负面的影响。Google 将网络超时、连接重置和 DNS 错误与 5xx服务器错误同等对待。如果出现网络错误,抓取速度会立即减慢,因为网络错误表明服务器可能无法处理服务负载。由于 Google 无法连接到托管该网站的服务器,因此也无法从服务器接收到任何内容。
对于谷歌搜索而言,内容缺失意味着谷歌无法索引已抓取的网址,而已索引但无法访问的网址将在几天内从谷歌索引中移除。搜索控制台可能会针对每个相应的错误生成错误信息。
调试网络错误
这些错误发生在 Google 开始抓取 URL 之前或抓取 URL 的过程中。由于错误可能发生在服务器响应之前,因此没有状态码可以提示问题,诊断这些错误可能更具挑战性。要调试超时和连接重置错误:
- 查看您的防火墙设置和日志。可能存在范围过广的阻止规则。请确保 没有防火墙规则阻止 Google 的 IP 地址。
- 查看网络流量。使用tcpdump和 Wireshark等工具 捕获和分析 TCP 数据包,并查找指向特定网络组件或服务器模块的异常情况。
- 如果找不到任何可疑之处,请联系您的主机托管公司。
错误可能出现在处理网络流量的任何服务器组件中。例如,过载的网络接口可能会丢弃数据包,导致连接超时(无法建立连接)和连接重置(RST由于端口被错误关闭而发送的数据包)。
调试 DNS 错误
DNS 错误最常见的原因是配置错误,但也可能是由于防火墙规则阻止了 Google DNS 查询造成的。要调试 DNS 错误,请执行以下操作:
- 检查您的防火墙规则。确保 没有 任何防火墙规则阻止Google 的任何 IP 地址,并且 允许所有请求 UDP。TCP
- 查看您的 DNS 记录。仔细检查您的 ` DNS-IP`A和 CNAME`DNS-DNS-hostname` 记录是否分别指向正确的 IP 地址和主机名。例如:
dig +nocmd example.com a +noall +answer
dig +nocmd www.example.com cname +noall +answer
- 请检查所有域名服务器是否都指向您网站的正确 IP 地址。例如:
dig +nocmd example.com ns +noall +answerexample.com. 86400 IN NS a.iana-servers.net.example.com. 86400 IN NS b.iana-servers.net.dig +nocmd @a.iana-servers.net example.com +noall +answerexample.com. 86400 IN A 93.184.216.34dig +nocmd @b.iana-servers.net example.com +noall +answer...
- 如果您在过去 72 小时内更改了 DNS 配置,则可能需要等待更改在全球 DNS 网络中传播。为了加快传播速度,您可以 清除 Google 公共 DNS 缓存。
- 如果您运行自己的 DNS 服务器,请确保其运行状况良好且未过载。
所用技术: