📌 一句话摘要

Cloudflare 正在重新设计 CDN 缓存架构，以缓解由 AI 爬虫独特的长尾访问模式所导致的破坏性缓存抖动。

📝 详细摘要

本文探讨了 AI 爬虫流量的激增如何从根本上挑战传统的 CDN 缓存策略。与人类用户不同，用于 RAG 和模型训练的 AI 机器人表现出激进、大容量且连续的扫描行为，专门针对极少被访问的长尾内容。这种行为会导致严重的缓存抖动，使标准的 LRU（最近最少使用）算法效率低下，并增加源服务器的负载。Cloudflare 与苏黎世联邦理工学院（ETH Zurich）合作，提出了 AI 感知缓存解决方案，包括采用更具弹性的淘汰算法（如 SIEVE 和 S3FIFO），以及根据延迟敏感度和任务类型将人类流量与 AI 流量分离的分层架构。

💡 主要观点

1. AI 爬虫的流量模式与人类行为有着根本的不同，导致了严重的缓存抖动。 AI 机器人表现出高唯一 URL 比率和对长尾内容的连续扫描，这会驱逐原本面向人类用户的热门内容，导致缓存未命中率升高。
2. 传统的 LRU 算法不足以应对 AI 时代的混合工作负载。 LRU 难以应对 AI 爬虫的重复扫描行为；初步实验表明，像 SIEVE 或 S3FIFO 这样的算法可以更好地保护人类流量的命中率。
3. Cloudflare 提出了分层的、AI 感知的缓存架构。 该策略涉及根据紧急程度将流量路由到不同的缓存层——优先考虑人类用户的边缘响应速度，同时为大规模 AI 训练爬取使用更深、容量更大的层级。
4. 现实世界的基础设施影响在各大平台上已经非常显著。 对维基百科（Wikipedia）、SourceHut 和 Fedora 的案例研究表明，激进的 AI 抓取已导致带宽激增 50% 并引发服务不稳定，这使得除了简单的封禁之外，还需要更智能的缓解措施。

💬 文章金句

• 曾经被认为是‘长尾’或极少被访问的页面现在正被频繁请求，这改变了 CDN 缓存中内容热度的分布。
• 这种对长尾资产的重复访问会搅动人类流量所依赖的缓存。
• 更智能的缓存架构将使网站运营商能够在服务 AI 爬虫的同时，保持人类用户的响应时间。
• 对于混合的人类和 AI 机器人流量，我们的初步实验表明，选择不同的缓存替换算法，特别是使用 SIEVE 或 S3FIFO，可以让人类流量实现相同的命中率。

📊 文章信息

阅读完整文章