AI 爬虫杀死了一个16年老牌技术博客:2ality 作者因 Crawler 流量被迫关闭网站
JavaScript 领域最资深的技术博客 2ality.com 宣布临时关闭。作者 Dr. Axel Rauschmayer 坦言:AI 爬虫已将网站流量占满,同时书籍销售收入从2024年的足以维生跌至2026年的零。这是一个关于 AI 公司如何摧毁独立内容创作者的典型故事。
2026年5月17日 · 阅读约 5 分钟
核心结论
2026 年 5 月,JavaScript 领域最资深的技术博客 2ality.com 宣布临时关闭。作者 Axel Rauschmayer 博士在网站首页贴出声明:AI 爬虫已占满带宽、书籍销售归零,他决定将博客和全部在线免费书籍撤离互联网。这不仅是个人技术博客的告别,更是整个独立内容创作者生态面临 AI 公司系统性蚕食的缩影。
关键要点
- 事件时间:2026 年 5 月 17 日
- 影响对象:独立内容创作者、技术博客作者、信息站站长
- 核心变化:AI 爬虫消耗带宽但不带来收入 + AI 模型训练导致书籍销量归零 = 内容创作经济模型破产
- 对 AI 赚钱/自动化领域从业者的启示:纯内容引流模式需要重新设计商业模式
背景:16 年的 JavaScript 知识库
Dr. Axel Rauschmayer 是 JavaScript 社区最受尊敬的作者之一。他的博客 2ality.com 自 2010 年开始运营,累计发布了数百篇深度技术文章,涵盖 JavaScript 语言规范、ES6/ES7+ 特性、TypeScript 最佳实践等核心话题。他的书籍(如《JavaScript for Impatient Programmers》)也以免费在线阅读的形式提供给全球开发者。
16 年来,2ality 依靠两条腿走路:书籍销售收入 + 博客广告/联盟收入。
但 2026 年 5 月,这两条腿同时断了。
关键影响:AI 如何杀死独立博客
| 维度 | 变化 | 对我们意味着什么 | 建议动作 |
|---|---|---|---|
| 网站带宽成本 | AI 爬虫消耗了绝大部分流量,带宽成本飙升 | 内容站面临"用爱发电"无以为继的局面 | 部署 robots.txt 限制爬虫 + Cloudflare AI 爬虫阻断 |
| 书籍销售收入 | 从 2024 年的"足以维生"跌至 2026 年的"零" | AI 模型训练降低了对原创内容的需求 | 多元化收入模型,不依赖单一渠道 |
| 广告收入 | AI 爬虫带来的流量无法转化为广告收入 | 纯 SEO 流量模式受到根本性挑战 | 向 affiliate/会员/服务模式转型 |
| 创作者意愿 | 作者"没有任何精力处理这个问题" | 优质内容创作者加速退出 | 社区/平台需建立创作者保护机制 |
AI 爬虫问题的规模:不只是 2ality
2ality 的遭遇并非个案。2026 年以来,AI 公司训练数据的"抢购潮"已经引发了连锁反应:
- Turso 关停了漏洞赏金计划,因为 AI 生成的垃圾提交将审核系统淹没
- arXiv 宣布 AI 幻觉引用将被封禁 1 年
- Amazon 员工被曝被迫增加 AI 使用量,结果开始编造任务
- 多家中小型博客站长反馈:AI 爬虫流量占比已从 2025 年的 20% 飙升到 2026 年的 70%+
值得注意的是,Amazonbot 终于在 2026 年 5 月宣布遵守 robots.txt,但这对已造成的伤害来说杯水车薪。2ality 的关闭说明:即使在禁令实施后,独立内容创作者已经撑不到保护机制生效的那一天了。
对 AI 赚钱从业者的启示
1. Affiliate + 工具推荐比纯广告更抗打击
2ality 主要依靠书籍销售收入 + 广告。当 AI 模型训练导致人们对"读技术书"的需求下降(因为 AI 可以直接回答),书籍销售归零是必然结果。
相比之下,affiliate 推荐(工具 SaaS 佣金) 是更抗 AI 冲击的模式:
- AI 可能推荐工具,但人还是要点击购买链接
- 工具佣金基于实际使用而非阅读量
- 推荐工具比写教程更难被 AI 替代(需要亲身体验和信任积累)
2. 流量 ≠ 收入,AI 爬虫流量等于成本
2ality 的流量增加了,但全是 AI 爬虫。这对任何靠 CPM/CPC 广告的收入模型是致命打击。自动化工作流中务必要加入爬虫识别与过滤逻辑。
3. 独立站运营者的防御清单
- 在 robots.txt 中屏蔽已知的 AI 爬虫(GPTBot、Claude-Web、Google-Extended 等)
- 使用 Cloudflare 的 AI 爬虫阻断功能
- 配置 Web 应用防火墙对非人类行为进行速率限制
- 内容加入会员专区,不完全免费公开
- 核心教程用视频形式(AI 更难抓取和理解)
- 建立邮件列表,建立直接与读者联系的通道
相关阅读
工具词条
正文中出现的以下工具平台侧会匹配已维护 tools 库:
Cloudflare、N8N、DeepSeek、OpenAI
内链引导
- 如何通过自动化内容运营建立抗 AI 冲击的收入体系?看:如何用 n8n + ChatGPT 搭建 AI 内容自动化分发系统
- 真实案例:他用 Claude + n8n 搭建 AI 自动化系统,6个月从 $4,000 到 $12,000/月