AI 爬虫抓取验证工具 — SEO 技术流

覆盖 48 项爬虫与用途控制标识，区分 AI 训练、AI 搜索和用户触发等用途，检测网页访问、robots.txt 规则和 Meta robots 标签
输入你想检测的网站域名或完整 URL（支持带或不带 http/https 前缀）
对照「静态 HTML（AI 爬虫看到的）」与「浏览器渲染后」的内容：只在渲染后出现的模块，AI 爬虫抓不到
工具收录 48 项爬虫与用途控制标识，按优先级检测，并为每个身份展示用途、厂商、完整 User-Agent 及资料来源。资料整理于 2026-10-26；同一厂商的训练、搜索和用户触发身份分别说明。
用途参考 GEOInflow 的分类说明，并结合各厂商文档补充。传统搜索、通用采集和未知用途单独标记，避免把所有抓取都视为 AI 训练。
地区标识：★中国厂商 ★美国厂商（其他地区不标注）； 优先级：高 = 主流 AI 搜索/聊天产品、基础模型训练或高抓取量，建议默认检测；中 = 有明确用途但流量或资料完整度相对较低；低 = 特定场景补充。 带 非官方 标注的爬虫，其 UA 来自日志观测或第三方记录，厂商尚未正式确认。
User-agent: GPTBot Disallow: /private-folder
User-agent: OAI-SearchBot Disallow: /private-folder
User-agent: ChatGPT-User Disallow: /private-folder
User-agent: ClaudeBot Disallow: /private-folder
User-agent: Claude-SearchBot Disallow: /private-folder
User-agent: Claude-User Disallow: /private-folder
User-agent: Googlebot Disallow: /private-folder
User-agent: Google-Extended Disallow: /private-folder
User-agent: Google-GeminiNotebook Disallow: /private-folder
User-agent: Google-Agent Disallow: /private-folder
User-agent: Google-Agent Disallow: /private-folder
User-agent: PerplexityBot Disallow: /private-folder
User-agent: Perplexity-User Disallow: /private-folder
User-agent: CCBot Disallow: /private-folder
User-agent: bingbot Disallow: /private-folder
User-agent: KimiBot Disallow: /private-folder
User-agent: Kimi-SearchBot Disallow: /private-folder
User-agent: Kimi-User Disallow: /private-folder
User-agent: DeepSeekBot Disallow: /private-folder
User-agent: Bytespider Disallow: /private-folder
User-agent: Baiduspider Disallow: /private-folder
User-agent: Gemini-Deep-Research Disallow: /private-folder
User-agent: Google-CloudVertexBot Disallow: /private-folder
User-agent: meta-externalagent Disallow: /private-folder
User-agent: meta-externalfetcher Disallow: /private-folder
User-agent: meta-webindexer Disallow: /private-folder
User-agent: Amazonbot Disallow: /private-folder
User-agent: Applebot Disallow: /private-folder
User-agent: Applebot-Extended Disallow: /private-folder
User-agent: QwenBot Disallow: /private-folder
User-agent: ChatGLM-Spider Disallow: /private-folder
User-agent: MinimaxBot Disallow: /private-folder
User-agent: Minimax-User Disallow: /private-folder
User-agent: PetalBot Disallow: /private-folder