技术 SEO 审计方法：按抓取、渲染、索引与规范化逐层排查
核心要点 Key Takeaways
- 把发现、抓取、渲染、索引和排名问题分开诊断
- 用多种证据交叉验证，避免只依赖单一爬虫工具
- 按受影响页面价值和问题规模决定修复优先级
第一层：网址能否被发现
搜索引擎主要通过链接和站点地图发现网址。检查重要页面是否拥有来自导航、栏目或相关正文的可抓取链接，而不是只存在于站内搜索、按钮事件或孤立的 XML 文件中。
站点地图应使用 UTF-8 和绝对规范网址，只包含希望出现在搜索结果中的页面。提交站点地图有助于发现和监控，但不保证抓取或收录，也不能替代清晰的内部链接。
对新页面建立发布流程：所属栏目、相关旧文链接、站点地图更新时间和搜索平台检查应同时完成，避免内容发布后长期成为孤岛。
第二层：能否抓取与正确响应
检查 robots.txt、身份验证、防火墙、CDN 和频率限制是否误伤正常爬虫。robots.txt 控制请求，不等同于 noindex；如果页面被禁止抓取，搜索引擎可能无法读取页面内的索引规则。
状态码必须表达真实结果：正常页面 200，永久迁移 301 或 308，临时变更 302 或 307，不存在内容 404 或 410，服务器故障 5xx。返回 200 的错误页会造成 soft 404 和诊断混乱。
查看服务器日志可以确认爬虫实际请求了什么、响应多久以及是否反复访问低价值参数页。日志与爬虫模拟、搜索平台数据结合，才能区分“工具能抓”与“搜索引擎正在抓”。
第三层：渲染后能否理解
比较原始 HTML 与渲染结果，确认标题、H1、主要正文、链接、canonical 和 robots meta 在稳定状态下存在。服务端渲染或预渲染通常能减少对渲染队列和客户端错误的依赖。
如果内容依赖 JavaScript，测试接口失败、超时、资源被阻止和首次加载状态。不要在原始 HTML 中输出 noindex 后期待 JavaScript 再移除，因为搜索引擎可能在执行脚本前就停止处理。
确保链接使用有效 `href`，弹窗和标签切换中的重要内容若具有独立搜索价值，应有自己的 URL、标题和正文，而不只是不可寻址的界面状态。
第四层：是否选择了正确规范页
检查重复或近似页面的 canonical、重定向、内部链接和站点地图是否一致。canonical 是偏好信号，不是强制指令；若内容、链接和站点地图互相冲突，搜索引擎可能选择不同网址。
按模板和目录分析未收录页面，而不是逐条处理。大量“已发现未收录”可能来自内部链接不足、低价值批量页或服务器承载问题；“重复，未选为规范页”则应检查内容相似度和规范信号。
最终按影响排序：先修复阻断全部重要页面的系统问题，再处理高价值页面组，最后清理低规模提示。审计结论必须包含证据、影响范围、建议动作、负责人和验证方法。