📌 一句话摘要

Cloudflare 克服 Linux 网络协议栈限制实现软单播 IP 转发的详细过程，揭示了深层内核行为和解决方案。

📝 详细摘要

本文探讨了 Cloudflare 在 Linux 网络协议栈内实现软单播 IP 地址共享时面临的挑战。文章着重介绍了 Netfilter/连接追踪与套接字子系统之间交互所产生的复杂性，特别是在数据包重写与本地套接字使用相结合时出现的五元组冲突。作者详细阐述了规避这些问题的多种尝试，首先是管理 iptables 规则，然后是自定义代理服务 ("fish")，之后尝试使用 Netlink 进行连接追踪操作，但效率低下。一种更具创新性的方法是巧妙运用内核特性，如 `TCP_REPAIR` 或 `TCP 快速打开`，以创建“已连接”的套接字来保留五元组。这导致了一个新问题：本地路由规则优先考虑本地套接字，导致转发的数据包被丢弃。解决方案涉及 `ip rule` 操作，但 Linux 的“早期分用”功能使情况进一步复杂化，因为该功能会在存在本地套接字时绕过路由查找。最终的解决方案是禁用 `net.ipv4.tcp_early_demux`，其性能影响被评估为最小。最终，Cloudflare 选择在服务器上终止 TCP 连接，他们发现对于其特定用例而言，与纯 IP 转发相比，这种方法更简单且性能更好，尽管他们现在也了解了如何实现纯 IP 转发。

💡 主要观点

1. Linux 网络协议栈给软单播等高级 IP 共享技术带来了诸多挑战。 当尝试将数据包转发与本地套接字使用相结合时，内核组件（套接字、Netfilter、连接追踪）之间的交互可能导致意外行为，例如五元组冲突和静默端口重写。
2. 利用内核功能（如 `TCP 快速打开`）可以为数据包转发保留五元组。 通过创建没有实际连接的“已连接”套接字，进程可以有效地声明特定的 IP/端口组合，从而防止与其他套接字绑定或 Netfilter 的连接追踪表发生冲突。
3. “早期分用”等深层内核机制会覆盖路由规则，增加了自定义数据包转发的复杂性。 为提高性能而设计的“早期分用”功能可以在找到本地套接字时绕过路由查找，导致转发的数据包被丢弃，即使进行了显式路由表修改，因此需要禁用它以用于特定的高级用例。

💬 文章金句

• 有这样一种说法：一旦有人彻底理解了 Linux 网络协议栈的原理，它就会立刻消失，取而代之的是更加复杂难懂的东西。
• 对于软单播至关重要的是，这意味着连接追踪可能会重写我们的连接，使其源端口位于分配给我们的机器的端口切片之外。这将悄悄地中断连接，导致不必要的延迟和错误的连接超时报告。
• 绑定一个“已连接”的套接字，但该套接字实际上不对应于任何实际套接字，具有一个重要特征：如果其他进程尝试绑定到与该套接字相同的地址，它们将无法这样做。
• 发往本地地址的数据包会被视为输入而非转发，不受常规路由规则影响。
• 预计收到的大多数数据包都是用于本地套接字的，而不是未知数据包或需要转发到某处的数据包。在这种情况下，为什么不直接在此处查找套接字并节省额外的路由查找呢？

📊 文章信息

阅读完整文章