AI 爬虫访问检测

AI 爬虫可访问性检测

检测首页、robots.txt、sitemap.xml、llms.txt 以及关键公开路径是否能被 AI 爬虫和搜索爬虫正常访问。

ChatGPTPerplexityClaudeGeminiGoogle AI OverviewDeepSeek豆包Kimi

AI crawlability audit

Check AI crawler access and file discovery

This tool checks technical crawlability for homepage, robots.txt, sitemap.xml, llms.txt, and known crawler user agents. It does not guarantee that AI search systems or LLMs will cite, rank, or recommend the site.

主要检测内容

首页、robots.txt、sitemap.xml、llms.txt 状态码

GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Googlebot、Bingbot 访问规则

robots.txt 中 sitemap 指令

可复制的 robots.txt 和 llms.txt 初始模板

优先修复方向

确保公开页面返回 200 状态

不要误用 Disallow 阻止应该曝光的路径

在 robots.txt 中声明 sitemap 地址

在域名根目录发布简洁的 llms.txt

中文落地建议

先验证需求，再扩大翻译范围

第一版中文页重点服务搜索流量和工具转化。等中文页面有稳定曝光、审计提交和付费点击后，再扩展更多长尾页与本地 AI 平台。

工作流

把 AI 可见性拆成可执行的检查项

不只看某一次 AI 回答有没有提到品牌，而是先确认公开页面可抓取、品牌实体清楚、答案块能被抽取、页面有证据可引用，然后再做持续提示词监控。

阶段	目标	保留证据
技术可访问	确认 AI 和搜索爬虫能访问公开页面	robots.txt、sitemap、llms.txt、状态码
实体清晰	让模型知道品牌、品类、产品和可信来源	schema、标题、H1、关于页、sameAs
内容可引用	把页面写成容易摘取的答案和事实块	FAQ、表格、来源、日期、作者
持续监控	记录品牌提及、引用 URL、竞品出现和情绪	提示词、平台、日期、截图或 URL

继续搭建中文 GEO 工作流

查看英文原页

AI 可见性检测工具检测 ChatGPT、Perplexity、Claude、Gemini、Google AI Overview 以及本地 AI 搜索是否更容易发现、理解并引用你的网站。AI 可见性审计工具面向品牌、竞品和国家市场的 GEO 审计入口，输出平台准备度、竞品引用缺口、技术修复项和可复制的 GEO 文件。LLMs.txt 生成器生成一个简洁的 llms.txt 文件，向 AI 系统说明品牌事实、核心页面、受众、用途和引用建议。LLMs.txt 检测工具验证网站是否已有可读取的 /llms.txt，并检查结构、关键页面覆盖、robots.txt 冲突和 AI 爬虫可发现性。

是不是所有 AI 爬虫都要放开？

不一定。工具会提示阻断点和权衡，但内容授权、商业模式和私有路径仍需要你自己决定策略。

只检查首页够吗？

不够。AI 搜索通常需要价格页、文档页、博客、关于页、对比页等多种公开路径一起形成可信实体。