页面大小跟获取所有页面

Nila727

和资源的最大值和最小值并进行比较。如果您发现差异，那么 Google 可能无法完全下载所有资源或页面。，我第一次听到这个简洁的提示）。 我们有没有发现任何问题？ 如果 Google 在我们的日志文件中没有始终如一地获得 200，但我们可以在尝试时正常访问该页面，那么 Googlebot 和我们之间显然仍然存在一些差异。这些差异可能是什么？ 它会比我们爬得更多 它显然是一个机器人，而不是一个伪装成机器人的人 它会在一天中的不同时间爬行 这意味着： 如果我们的网站正在做聪明的机器人拦截

它可能能够区分我们和 Googlebot。 因为 Googlebot 会给我们的网络服务器带来更多压力，所以它的行为可能会有所不同。当网站有很多机器人或访问者同时访问时，他们可能会采取某些措施来帮助保持网站在线。他们可能会打开更多的计算机 客户名单 来为网站提供动力（这称为扩展），他们也可能会尝试对请求大量页面的用户进行速率限制，或者提供缩减版的页面。 服务器定期运行任务；例如，列表网站可能会在 01:00 运行每日任务以清理所有旧列表，这可能会影响服务器性能。



弄清楚这些周期性效应发生了什么将是一件很繁琐的事情。您可能需要与后端开发人员交谈。 根据您的技能水平，您可能不知道在哪里引导讨论。一个有用的讨论结构通常是讨论请求如何通过您的技术堆栈，然后查看我们上面讨论的边缘案例。 负载过重的服务器会怎样？ 重要的计划任务什么时候发生？ 进入此对话的两个有用信息： 根据日志中问题的规律性，通常值得尝试使用爬虫以与 Google 使用相同的速度/强度来爬取网站来重新创建问题，以查看您是否可以找到/导致同样的问题。这并不总是可能的