一、引言
两侧 LAN 一直用 ZeroTier 互访,跨子网 ping 总在 60–100 ms 晃。想把这类互访换条更快的路,又不想动外网接入的权限控制,于是把 EasyTier 也拉到两个网关上:LAN 之间走 EasyTier,外部设备接进来还是走 ZeroTier,靠 flow rules 限制能碰到哪些 IP 和端口。装倒不难,麻烦在于两套工具都往同一个网段写路由,默认的优先级不是我要的,折腾到最后是用一条定时任务把 metric 按住的。二、正文
(一)先给最终可用的方案
两个网关的系统与组网工具版本:
- ImmortalWrt 23.05.4
- ZeroTier 1.14.1-11
- EasyTier 2.6.4
EasyTier 用子网代理把本端网段通告出去,对端会自动生成一条走 tun0 的路由;ZeroTier 侧控制器里也配了到对端 LAN 的 managed route。两个网关上的 easytier-core 启动参数大致如下,网络名、密钥和公共服务器地址已隐去:
/usr/bin/easytier-core \
--network-name <网络名> \
--network-secret <网络密钥> \
-i 10.23.11.51/24 \
-p tcp://<公共中继服务器>:21010 \
-n 10.23.0.0/22 \
-r 15888 \
--no-listener \
--hostname <主机名> \
--bind-device false \
--console-log-level off其中 -n 10.23.0.0/22 是子网代理,对端据此生成到该网段的路由;<网络名>、<网络密钥>、<公共中继服务器>、<主机名> 换成自己的值,网段按实际环境填。
最终用的是在每个网关上放一条每分钟执行的路由命令。本端 LAN 是 10.23.0.0/22,要把对端 LAN 10.23.4.0/22 指到 EasyTier 的 tun0 并给一个比 ZeroTier 更小的 metric:
*/1 * * * * ip route replace 10.23.4.0/22 dev tun0 scope link metric 4000对端网关 LAN 是 10.23.4.0/22,把网段反过来即可:
*/1 * * * * ip route replace 10.23.0.0/22 dev tun0 scope link metric 4000用 crontab -e 写入,或在 LuCI 的「系统 → 计划任务」里加。整条命令只有网段要换:tun0 是 EasyTier 的虚拟接口,metric 4000 用来压过 ZeroTier 的 5000。下面几节解释这两条命令是怎么逼出来的。
(二)两套组网工具为什么一起用
EasyTier 是去中心化的,节点自己协商组网,不需要一台中心控制器,适合把两侧 LAN 直接打通。ZeroTier 需要 Planet 或控制器做中心,换来的是能在控制器上集中配置 flow rules,精确控制谁能访问哪些 IP 和端口。
外部设备要接进内网,权限得收得住,这套留在 ZeroTier;LAN 之间的日常互访量大、也不需要对每个成员做精细授权,交给 EasyTier 更合适。两个网关于是同时跑两套工具,各管一段流量。
(三)路由表里三条同前缀路由
两侧都打开后,本端网关的 ip route 里,对端网段 10.23.4.0/22 同时出现了三条:
10.23.0.0/22 dev br-lan proto kernel scope link src 10.23.1.2
10.23.4.0/22 dev tun0 scope link metric 4000
10.23.4.0/22 via 10.23.10.52 dev ztbxrrk7kv proto static metric 5000
10.23.4.0/22 dev tun0 proto static metric 65535
10.23.10.0/24 dev ztbxrrk7kv proto kernel scope link src 10.23.10.51
10.23.11.0/24 dev tun0 proto kernel scope link src 10.23.11.51ztbxrrk7kv 是 ZeroTier 建的接口,tun0 是 EasyTier 的。三条 10.23.4.0/22 里,metric 4000 那条是后来用定时任务补进去的;via 10.23.10.52 ... metric 5000 来自 ZeroTier 的 managed route,把对端 LAN 指向对端的 ZeroTier 地址;proto static metric 65535 来自 EasyTier 按子网代理自动配置的路由。
metric 越小越优先。在补上 4000 那条之前,同前缀里 ZeroTier 的 5000 排在 EasyTier 的 65535 前面,LAN 互访就被导到了 ZeroTier 上,延迟也就是前面说的 60–100 ms。
这里讨论的是同一张路由表、同一个目的前缀的情形。如果配了策略路由(ip rule)或有别的表,要以 ip route get 的实际结果为准。
(四)为什么 metric 改不动
第一反应是把 ZeroTier 那条 5000 改小,查下来走不通。能翻到的相关 issue 是 #1712,讨论的正是 Linux 上这个 5000。当前源码里,Linux 安装 managed route 时用的就是写死的常量 ZT_RTE_METRIC = 5000,通过 RTA_PRIORITY 写进内核,没有找到配置项能覆盖它。
那就从 EasyTier 这边想办法。EasyTier 当前 Linux 实现里,添加路由时如果没传 cost,默认值是 65535(netlink.rs 里的 cost.unwrap_or(65535)),所以它的路由天然排在 5000 后面。
最直接的想法是在上面那条启动命令里直接指定 metric。翻了一圈 easytier-core 2.6.4 的启动参数和 LuCI 里能配的项,没有和路由 metric 相关的入口。这属于官方还没实现的能力,#1933 就是请求给「子网代理和手动 CIDR」加自定义跃点数,到现在还开着;所以走启动命令这条路也不通。
于是先在 LuCI 的「网络 → 静态路由」页面手动加一条 10.23.4.0/22,接口 tun0,跃点数填 4000(就是 http://10.23.5.2/cgi-bin/luci/admin/network/routes 那个页面)。当时确实立刻生效了,问题是重新配置或者重启 EasyTier 时,它会重新装自己的路由,这条 4000 就失效,metric 又回到 EasyTier 的值。
最后绕开配置层,直接盯内核路由:用 crontab 每分钟执行一次 ip route replace,把对端网段重新指到 tun0 并设 metric 4000(见第(一)节)。按前缀覆盖,重复执行不会堆出一串重复项。一分钟的间隔意味着极短的重启窗口内可能短暂回落到 ZeroTier,对我这种场景够用。
(五)验证与延迟变化
加完等一分钟,先看内核最终选了哪条:
ip route get 10.23.5.2如果输出的 dev 是 tun0,说明 4000 那条生效了。更直接的是看延迟,换到 EasyTier 之前两侧 ping 一直在 60–100 ms,调整后同一条链路稳定在 9 ms 上下:
root@ImmortalWrt:~# ping 10.23.5.2
PING 10.23.5.2 (10.23.5.2): 56 data bytes
64 bytes from 10.23.5.2: seq=0 ttl=32 time=8.743 ms
64 bytes from 10.23.5.2: seq=1 ttl=32 time=9.117 ms
64 bytes from 10.23.5.2: seq=2 ttl=32 time=9.111 ms
64 bytes from 10.23.5.2: seq=3 ttl=32 time=9.055 ms这几个数只说明我这条链路在这次测量里的变化,别当成通用的性能基准。
三、总结
两个网关同时跑 EasyTier 和 ZeroTier,关键在让系统按预期选路由:LAN 互访交给去中心化的 EasyTier,外部接入继续用 ZeroTier 和它的 flow rules。ZeroTier 的 managed route metric 改不动,EasyTier 默认又是最低优先级,最后靠一条每分钟执行的 ip route replace 把 tun0 的 metric 顶到 4000。设备、版本和网段一变,具体值都要重算,别直接照抄。
四、文献引用
- 【GitHub】zerotier/ZeroTierOne issue #1712:Linux static ztxxx route metric of 5000 is incorrect for some cases
- 【GitHub】zerotier/ZeroTierOne osdep/LinuxNetLink.cpp
- 【GitHub】EasyTier easytier/src/common/ifcfg/netlink.rs
- 【GitHub】EasyTier issue #1933:功能请求:子网代理和手动CIDR增加自定义metric跃点数
- 【EasyTier】EasyTier 仓库与子网代理说明
- 【OpenWrt】Static routes
- 【Linux man-pages】ip-route(8)