google.com/goto: Google's anti-scraping update（Google 反爬新招：搜索链接全面转向 goto 跳转）

📅 2026-09-12 | 🏷️ 工程 & Agent | ⭐ HN 627分/486评论
🔗 原文：https://www.autom.dev/blog/google-search-goto-links

是什么

搜索引擎 SERP API 服务商 autom.dev 发布技术分析：Google 正在把搜索结果中的目标链接改写为 google.com/goto 形式的跳转链接，作为最新的反爬虫措施。这意味着依赖解析 Google 搜索结果页的所有下游系统——SEO 工具、竞品监测、以及大量 AI Agent 的联网检索层——都必须重新适配。HN 帖子收获 627 分 / 486 评论。

🔍 小白解读

先说几个词

• 爬虫（Scraper）：自动批量抓取网页内容的程序，好比一个不知疲倦的抄写员，把网页上的信息抄下来存进自己的数据库。
• 跳转链接（Redirect）：不直接指向目标网站、而是先经过中间服务器再转过去的链接，就像快递必须先经过中转站，中转站可以登记、限流甚至拒收。
• SERP API：帮开发者程序化获取搜索结果页的付费接口服务，相当于雇人替你查搜索结果并整理成表格。
• RAG（检索增强生成）：让 AI 回答问题前先去检索最新资料的技术，好比开卷考试——先翻书再作答，翻书这一步现在被 Google 加了闸门。

这篇到底在说什么

打个比方：Google 的搜索结果页以前像一本公开的电话簿，任何人都可以来抄录上面的地址；现在 Google 把电话簿里每个地址都换成了一张「兑奖券」，你必须到 Google 的柜台（goto 跳转服务）才能兑换出真实地址——而柜台会检查你是不是可疑的批量抄录者。autom.dev 作为 SERP API 服务商，第一时间拆解了这项改动的技术细节和影响面：凡是靠解析 Google 结果页拿真实链接的系统，一夜之间全部失效或退化，必须改造。对 AI 行业影响尤其大，因为大量 Agent 产品的「联网搜索」能力，底层正是爬 Google 结果页。

这跟普通人有什么关系

普通用户短期几乎无感，点击搜索结果照样能到目标网站。但如果你用的 AI 助手、价格比价工具、SEO 报表突然「查不准、查不到」，大概率就是这类反爬升级的连锁反应。依赖搜索数据的创业公司则可能面临成本上涨——合法数据接口会更贵。

为什么值得架构师关注

1. Agent 联网层重构：如果你的产品有「AI 联网搜索」功能且底层依赖 Google SERP 爬取，需要立即评估 goto 跳转对链接解析率、延迟、成功率的影响，规划切换到官方 API 或多引擎聚合方案。
2. 数据获取合规化加速：Google 持续收紧程序化访问，等于在给「爬虫驱动」的数据管道判缓刑；架构上应把「搜索数据源」抽象为可替换层（Google API / Bing / 独立索引 / 站内搜索），避免单点依赖。
3. 成本模型变化：SERP API 定价大概率随反爬成本上涨，涉及搜索数据的业务需要重新核算单位查询成本，并在预算上预留缓冲。

核心内容

• Google 将搜索结果链接改写为 google.com/goto 域名下的跳转链接，真实目标地址不再直接暴露在结果页 HTML 中。
• 该改动被 SERP API 服务商 autom.dev 识别并公开分析，属于 Google 反爬虫体系的又一次升级。
• HN 627 分 / 486 评论，讨论焦点集中在：对 SEO 生态、开源 SEO 工具、以及以爬取 Google 结果为底座的 AI 搜索产品的冲击。
• 受影响的典型系统：SERP API 服务、SEO 排名追踪工具、竞价广告监测、以及大量 AI Agent 的「联网搜索」实现。
• 时点上这是近 48h 内 HN 最高赞的工程话题之一（627 分），说明下游受影响面极广。

行动建议

立即盘点自家系统里所有「解析搜索引擎结果页」的模块，做一次受影响评估；如果 AI 产品依赖 SERP 爬取，优先验证 goto 跳转下的链接解析成功率，并启动多数据源冗余方案（官方搜索 API、独立索引引擎、垂直数据源）。涉及搜索数据采购的团队，关注 SERP API 服务商的调价通知。