现象
两个办公点用两台艾泰路由器建了 IPSec 隧道,一端是 HiPER 6530G,另一端是商睿 2620G,固件都是 v3.2.x。为了说明方便,下面把两边的网段写成 10.0.1.0/24 ↔ 10.0.2.0/24。
某天开始,本端的服务器 A(10.0.1.10)访问对端的服务器 B(10.0.2.20),所有 TCP 端口都超时,B 反过来连 A 也不通。奇怪的是:
A 和 B 之间 Ping 正常,UDP 也正常; 和 A 同网段、走同一台网关的 C,访问 B 完全正常; A 访问对端网段的其他机器,TCP 也正常。
也就是说,只有"A↔B 这一对地址、协议是 TCP"这一种组合不通。
排查过程 先排除两端主机。 在 A 和 B 的网卡上同时抓包(Windows 用 netsh trace)。A 的 SYN 发出去了,B 的网卡一个都没收到。B 发给 A 的 SYN,A 收到了,也回了 SYN-ACK,但这个 SYN-ACK 同样没到 B。A 的 ICMP 和 UDP 在 B 上都能看到。所以丢包发生在中间网络,而且只丢 A 发往 B 的 TCP。 查本端网关的连接跟踪。 艾泰的 telnet 管理口进去是 BusyBox。/proc/net/nf_conntrack 里 A 这条连接一直是 SYN_SENT / UNREPLIED,C 那条是 ESTABLISHED。 查 XFRM 策略,找到元凶。 ip -s xfrm policy 里多出一条: src 10.0.1.10/32 dst 10.0.2.20/32 proto 6 dir out action allow priority 2080 expire use: soft 900(sec) (没有 tmpl)
正常隧道的那条是 10.0.1.0/24 → 10.0.2.0/24,优先级 2344,带 ESP 模板。2080 比 2344 小,内核会优先用这条。可它没有模板,等于"放行但不加密"。 4. 在 WAN 口抓包实锤。 设备自带一个 rawdump 抓包工具:
rawdump -if <WAN 口> -type 0800 -ip 10.0.1.10 -proto 6 -pktnum 3000 -size 3000000 -filepath /tmp/a.pcap
A 连 B 的时候,WAN 口上直接抓到了源地址是私网 IP、目的端口是业务端口的明文 SYN。C 的同类连接在 WAN 口上一个明文包都没有,因为已经被加密成 ESP 了。路由表里对端网段指向运营商网关,NAT 又对隧道网段做了豁免,所以这个包带着私网地址被发进了公网,然后被运营商丢掉。 5. 对端网关是正常的。 登录对端设备看,没有这类策略,LAN 口也抓不到 A 的这次连接。
根因(目前的判断)
本端网关上同时跑着两个 pluto(Openswan 的 IKE 守护进程)。ps 能看到两套 _plutorun,它们共用同一个 pid 文件,另外还有一个僵尸进程 [pluto]。对端设备只有一个。
这些 /32、priority 2080、没有模板的策略,很像 Openswan 处理 ACQUIRE 时装上的 bare shunt(临时放行规则)。正常情况下,SA 协商完成后这条规则会被清掉。现在两个 pluto 并存,没有一个去清理它,它还每隔几秒就被重新生成一次。
最早的几条策略精确到了端口,生成时间集中在同一天的几分钟之内。那个时间段里正好在通信的几对主机都中招了,不止 A→B 一对:还有一对 TCP、两对 UDP。
这部分是我根据现象推出来的,已经把证据发给厂商,等他们确认。
自查方法
如果你也遇到"IPSec 隧道明明是通的,但某一台机器、或者某种协议就是不通",可以登录网关看看下面两项:
ps | grep pluto # 正常应该只有一组 ip xfrm policy | grep -E '^src .*proto' # 出现 /32 加协议的条目就要警惕
另外提醒一下:这个问题除了让业务不通,还会把内网流量以明文发到公网,有安全隐患。
想问问大家有没有遇到过艾泰,或者其他基于 Openswan 的设备出现 pluto 重复启动的情况?最后是怎么解决的?
还有一点要你自己判断:型号写的是 6530G 和 2620G。如果担心这也能对应到你们公司,可以改成"艾泰企业级路由器",不过这样别人对照参考的价值会低一些。