读AI公司的招股书，品牌该看哪一段：你的网站内容是怎么被“收”走的
GEO Labs · GEO百科第45期 · 2026年10月29日 · GEO Labs 研究部
🌐 海外模型视角 · 数据来源与站点控制。以 Anthropic 2026年10月26日公开的 S-1 招股书（SEC 原文已读）为锚点，面向有官网和内容资产的品牌负责人。本篇只读数据获取与诉讼披露相关段落，不涉及财务数字。
一个值得读的段落
大多数人读招股书看营收和亏损。对品牌来说，更有用的是风险因素里讲“数据从哪来”的那几句。Anthropic 在 S-1 的风险因素中写道，公司训练模型使用的数据包括：来自互联网的公开信息、向第三方授权或委托制作的数据集，以及模型自己生成的合成数据；收集公开信息的方式包括网页抓取或爬取、图书扫描等。
这是一家头部模型公司在法律文件里对自己数据来源的自述，不是媒体推测。
这段话里有三个对品牌有用的信息
- 它声明会遵守 robots.txt。 原文称公司采取措施使采集活动符合适用法律、“适用的 robots.txt 通知”以及付费墙、登录等技术措施，同时承认“这些努力不一定总是成功”。含义是：robots.txt 是公司自述的遵守对象之一，但是否做到，文件本身并不保证。
- 它承认难以核验被采集内容的权利状态。 原文称在某些情况下，公司可能无法核实通过这些方式采集的信息是否受隐私、版权或其他知识产权保护；并提到“训练数据来源、出处或保管链的记录不充分”本身会带来法律风险。
- 它披露了已有诉讼。 文件列出 Reddit 起诉其不当访问平台帖子（原文称案件于2026年3月30日被发回州法院，仍在审理）、多家音乐出版商就歌词版权提起的诉讼，以及 Bartz 案（原文称以15亿美元和解，2026年7月获地区法院批准）。文件还写道，若法院不认可其“合理使用”的立场，业务可能受到不利影响。
注意：这些是公司在风险因素里的披露，不等于法院认定，也不代表任何案件的结果。
这对想被 AI 引用的品牌意味着什么
先区分两件事，它们常被混在一起：
| 环节 | 通常发生在 | 品牌能做什么 |
|---|---|---|
| 训练数据采集 | 模型训练阶段，一次性/周期性 | 通过 robots.txt、授权条款表达偏好；效果取决于对方是否遵守 |
| 实时检索与引用 | 用户提问时，模型调用搜索 | 内容可被抓取、结构清晰、信源可核验，才有机会被引用 |
S-1 里 Web Search 只是作为产品能力出现（“实时网页信息，支持带引用的回答”），招股书没有披露检索引用的规则、出版商授权或来源选择方式。所以不能从这份文件推断“怎样才会被 Claude 引用”。
另一个现实的两难：如果你屏蔽所有 AI 抓取，可能同时减少被检索引用的机会；如果完全放开，又等于默许内容被用于训练。多数品牌需要的是“分开决定”，而不是一刀切。
四个可立即执行的动作
动作一：先看自己的 robots.txt 现在写了什么
打开 你的域名/robots.txt，列出里面针对 AI 相关爬虫的规则（各 AI 公司的爬虫名称以其官方文档为准，不要凭记忆写）。记录：哪些被允许、哪些被禁止、有没有写过后来没人维护的旧规则。
动作二：区分“训练用”和“检索用”爬虫
查各家官方文档，确认它们是否把“训练采集”和“用户提问时检索”用不同的爬虫名称区分。能区分的，可以分别设置；不能区分的，在决定屏蔽前先评估对检索引用的影响。
动作三：看服务器日志，而不是只信声明
招股书里的“遵守 robots.txt”是公司自述。用你自己的访问日志，抽样核对被禁止的路径是否仍有相应爬虫访问。日志只能说明发生了什么，不能直接说明用途，写结论时留余地。
动作四：把自己内容的“出处记录”做起来
S-1 把“出处记录不充分”列为风险，同理适用于品牌：重要页面保留发布日期、作者/机构、修订记录，付费或会员内容明确访问条件。这既有利于 AI 准确理解，也是日后出现争议时的证据。
一个可量化的目标
未来14天，完成：① 一份“AI 爬虫规则清单”（robots.txt 现状+各爬虫官方文档链接+是否区分训练/检索）；② 对近30天日志抽样核对 3 条被禁止规则是否被遵守，并记录结果。这是团队自设目标，不是行业基准。
下一步
下次读到“某公司遵守 robots.txt”时，不妨问一句：这是它的自述，还是你日志里看到的？
GEO Labs 将持续追踪训练数据、检索引用与站点控制相关的披露，判断权留给读者。
公开来源与证据边界
- Anthropic PBC：Form S-1 注册声明，SEC EDGAR，2026-10-26 公开，原文，已读（数据来源、爬取与 robots.txt 表述、Reddit/音乐出版商/Bartz 诉讼披露、Web Search 产品描述）。全文约300页，本篇仅读与数据来源和诉讼相关段落。
- CNBC、Fortune 对该 S-1 的报道（2026-10-26）已读，本篇不采用其中任何财务数字。
- 证据边界：本篇所有表述均为招股书中的公司自述与诉讼披露，不代表法院认定；各 AI 公司爬虫的名称与行为未逐一核对官方文档；招股书未披露检索引用规则，本篇不对“如何被 Claude 引用”下结论；不涉及中国大陆线。
免责声明：本内容基于已标注的公开文件整理，仅供产业观察与信息参考，不构成投资、商业或法律建议；招股书披露与诉讼状态可能变化，读者决策前请独立核实并咨询专业顾问。