Googlebot 抓取上限检测 — SEO 技术流

免费检测网页是否超过了 Googlebot 的抓取上限（HTML 为 2MB，PDF 为 64MB）
输入你想检测的网站域名或完整 URL（支持带或不带 http/https 前缀）
Google 在 2026-02-06 更新了官方文档，确认 Googlebot 在爬取用于 Google Search 的网页时，只处理每个支持文件类型的前 2MB 解压缩内容。这个限制适用于 HTML、CSS、JavaScript 等文件（PDF 为 64MB），超出部分不会被用于索引。
因此，可用本工具进行网页检测，检测网页大小是否超过了 Googlebot 的抓取上限。
2MB 限制适用于解压缩后的未压缩数据，而非服务器发送的压缩内容（如 gzip 或 Brotli）。
Sitemap 的 XML 文件不受 Googlebot 网页内容 2MB 抓取限制影响。单个 Sitemap 文件（未压缩）上限为 50MB 或 50,000 个 URL，远高于网页 HTML 的 2MB。
把 SEO 技术流 添加为 Google 首选来源，搜索时优先看到本站的最新内容。
工具长期免费，背后每次调用都在消耗 AI Token。如果它帮到了你，欢迎请我喝杯咖啡 ☕
ChatGPT Business Hub 开启测试，企业可以管理信息，并查看提及、点击和常见主题等聚合数据。结合我的 GEO 实践，聊聊这些官方数据的统计口径、如何补充自建话题库，以及 Business Agent 的开放范围。
Google 开始推出 2026 年 11 月核心算法更新，部署可能需要长达两周。这次在 LinkedIn 发布公告，仍未披露具体调整细节。结合我此前对重大更新的预测，聊聊 AI / GEO 内容、网站恢复和黑五前的流量变化，有哪些值得关注。
「给 SEO 的 GEO 教程」第二篇，结合我的思考和实践，聊聊如何搭建话题库、持续获取 AI 答案，以及如何整理和分析 GEO 报告。从用户旅程、品牌曝光和官网引用，到竞手差距、引用来源和内容机会，帮助 SEO 同行搭建一套可以持续迭代的 GEO 监控与分析体系。
工具仍在持续迭代中，如果你在使用过程中碰到了问题，或者有功能改进的想法，欢迎直接联系我。
📬 alexkh#163.com （请将 # 替换为 @）