这是一个创建于 853 天前的主题，其中的信息可能已经有所发展或是发生改变。
环境
服务 A：k8s 环境运行的服务，kubernetes 1.19.10; CNI calico 3.17.4 CrossSubnet
服务 B：物理机运行的服务，Centos 7.5
背景
服务 A 上 k8s 环境后，服务 A 直接调用服务 B ，偶现提示连接超时，Caused by: java.net.SocketTimeoutException: connect timed out ；
排查过程
1.查看服务 B 节点的 netstat 情况:
[root@app01 ~]# netstat -s|egrep "SYNs to LISTEN sockets|passive"
5436752164 passive connection openings
87458 passive connections rejected because of time stamp
283176 SYNs to LISTEN sockets dropped
可以看出来是 SYN 请求被丢弃，而且 SYN 丢弃数量和 timestamp 丢弃的数量保持同步，可以初步断定是 timestamp 问题导致。
2.半连接和全连接队列是否满了
用 ss -lnt(全连接)和 netstat -natp |grep SYN_RECV|wc -l (半连接) 均 OK,排除队列满的问题。
3.查看服务 A 和服务 B 是否开启 tcp_tw_recycle 和 tcp_timestamps
服务 A 所在的 node 节点未开启，服务 B 所在的物理机已开启；
k8s 环境的 node 节点都已经关闭了 tcp_timestamps ，相当于 per-host 的 PAWS 机制未开启。
4.抓包分析
-
从服务端抓包 看到很多重传的 syn 包，源地址都是服务 A 所在的 node 节点
-
客户端抓包 现象一致，服务 A 一直重传给服务 B SYN 包
问题
- 在客户端未开启 tcp_timestamps 的情况下，为何服务端还会出现 time stamp 丢包？
- 丢包有没有可能其它问题导致？
 |
1
motecshine 2022-07-22 18:12:57 +08:00
可能 linux contrack 锅，
|
|
2
motecshine 2022-07-22 18:13:32 +08:00
|
 |
3
zhoudaiyu 2022-07-22 19:28:13 +08:00
contrack 溢出？看看系统日志 /var/log/message
|
 |
4
jarry118 OP |
|
5
jarry118 OP @motecshine 调用服务 B ，没走 dns 解析
|
|
6
zhoudaiyu 2022-07-23 13:07:54 +08:00 via iPhone
LZ 查出来了吗？
|
|
8
jarry118 OP @zhoudaiyu @motecshine 问题已解决，现在的方案是把服务 B 所在的物理机上关闭 tcp_tw_recycle ，超时未出现了；疑惑的地方还是客户端已经关闭了 tcp_timestamps ，为何服务端还是会针对时间戳进行校验？
|
|
9
zhoudaiyu 2022-07-25 10:47:13 +08:00
@jarry118 #8 按理来说 tcp_tw_recycle 和 tcp_timestamps 都开启后才会触发 pert-host paws ，确实有点奇怪。我没有想到啥别的原因，期待后续 lz 的分析。
|
|
10
motecshine 2022-07-25 11:06:12 +08:00
@jarry118 额 这个在 内核 4.x 已经移除了，确实会影响。我们也遇到这个问题，按文档里说 timestamp 和 recycle 同时开启 才会影响 nat 的握手，
|
Select Language