这是什么
新站和改版后,最冤枉的事故是内容都写了,sitemap 404,或 robots 把 /en/、/th/ 整目录 Disallow。后面所有 Query Gate 和内容工作都会白做。 这个工具故意做浅:看地图能不能打开、像不像 XML、robots 有没有可疑拦截。它不替代 Screaming Frog,也没有方法壁垒,所以不当主卖产品。 放进目录,是为了上线场景完整:在谈 hreflang 和内容之前,先确认搜索引擎还进得来。
要解决的问题
技术入口错了,内容和外链都无法补救。快检的价值是在发布会之前发现「整站不可见」,而不是给出全面技术分。
- sitemap.xml 404 或返回 HTML 软 404
- Sitemap 漏掉 /en/ 或分页语言
- robots Disallow 了整站或语言目录
- 上线清单没有这一项,事故在一周后才被发现
- HTML 与 Sitemap 的 hreflang 冲突被误当成「地图问题」
- 用全站爬虫做第一件事,却没先看入口文件
适合
谁该用,谁不该用
- · 即将上线或刚改版的技术负责人
- · 多语言发布,担心语言目录被挡
- · 诊断项目的第一小时技术入口检查
不适合
- · 要替代 Screaming Frog / Sitebulb 的人
- · 要 JS 渲染、分页、参数爆炸的完整爬虫报告
- · 把它当成可以高价单卖的旗舰产品
你会拿到什么
入口级通过/失败和可疑规则列表,以及「下一步该用全站爬虫看什么」的提示。
- sitemap 状态码与基本格式
- robots.txt 是否可访问
- 可疑 Disallow / 语言目录
- 是否漏掉明显的 /en/ /th/ /vi/
- 明确:这不是全站审计
怎么用
在提交大词表和发稿之前做。失败就停,先修入口,再谈内容。
01
请求 sitemap 与 robots
看 200 还是 404、是 XML 还是被站点模板包成 HTML。
02
扫 Disallow
语言目录、/admin、参数。重点是误伤 /en/ /th/ /vi/。
03
对照你认为该被收录的路径
核心语言版本是否至少出现在地图里。
04
修入口
404、软 404、误挡先修。
05
再做 hreflang 与内容
入口通了,互指和 Query Gate 才有意义。
06
需要深度再上爬虫
快检通过不等于没有重复参数或死链。
三个场景
新站地图 404
场景
上线清单勾了「已提交 GSC」,其实 URL 打不开。
做法
快检失败,先部署真实 sitemap。
结果
避免一周后才发现 Google 根本没有地图。
语言目录被挡
场景
预发环境 robots 被原样发布,Disallow: /en/。
做法
标出误伤语言目录。
结果
英文买家页在放开之前不会被白白抓取失败。
地图是 HTML
场景
框架把 /sitemap.xml 指到前端路由,返回网站壳。
做法
格式检查失败。
结果
工程改回真正的 XML,GSC 才能解析。
Free 和 Pro
Free · 域名级 sitemap 与 robots 快检说明。
Pro · 不作为主卖产品;附在技术诊断里,必要时升级为全站爬虫审计。
市场上免费检查很多。我们放进目录是为了上线流程完整,不是为了和专业爬虫竞争。
限制
- · 不渲染 JavaScript
- · 不遍历全站链接
- · 不保证发现 CDN 或 WAF 的全部拦截
- · 不替代 Search Console 覆盖率报告
不保证发现所有拦截。JS 渲染、CDN 规则和 Search Console 仍需人工或专业爬虫。
对应研究
hreflang 多语言收录指南
地图能打开之后,还要处理语言声明是否与 HTML 冲突。
常见问题
这能代替 Screaming Frog 吗?
不能。只做上线前后的浅层入口检查。深度重复、状态码分布、渲染问题要用专业爬虫。
为什么还放进产品目录?
因为上线事故真实存在,诊断第一小时就该看。它不是旗舰,但是完整交付的一部分。
Sitemap 里有 URL 就一定会被收录吗?
不一定。地图只是提示。质量、重复、noindex 和抓取预算仍会影响。
robots 允许就一定能抓?
不一定。还可能被登录墙、CDN 规则或 noindex 挡住。快检只排除「自己把路封了」这一类。
和 hreflang 工具谁先做?
先快检入口,再互指。路都封了,标签写得再对也没有用。
能在官网直接跑吗?
目前只提供产品介绍。需要演示,请预约。
想看演示、批量能力或采购 Pro?
留下网站与目标市场,我们按工具演示或月度合作回复。