上海电信的国内骨干废了，丢包爆炸

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2242 天前的主题，其中的信息可能已经有所发展或是发生改变。

202.97.90.34
202.97.90.53
202.97.90.57

你们随便 ping 一下看看丢包率，我这边 9%

从海外 ping 这些 ip 都是 0 丢包，国内 ping 丢包笑死人。
目前测试了一下，出国前最后两跳和海外的互联是没问题的，出国前倒数第三跳到第二跳的互联已经被塞爆，而且持续了很久了，这这个问题导致本来不错的非 cn2 的线路都没法用了，居然不扩容国内部分

48 条回复 • 2018-11-02 01:10:51 +08:00

hlz0812

2018-10-28 23:34:49 +08:00 via iPhone

北京出口也有少量类似情况，广州出口没有明显的情况发生

Laynooor

2018-10-28 23:44:42 +08:00 via Android

可能是 ICMP 包的优先级很低，有空的时候就回复，没空就不回。

hlz0812

2018-10-28 23:50:33 +08:00 via iPhone

@Laynooor 并不是，可以确定国内到国际段塞死了

tia

2018-10-29 01:34:41 +08:00 via Android

核心节点对 icmp 的优先级本来就低，只要最终目标没有丢包那就没炸

kaka0221tony

2018-10-29 07:47:12 +08:00

不期待扩容了，已换联通，爽歪歪

hlz0812

2018-10-29 11:12:56 +08:00 via iPhone

@tia 问题是海外 ping 这几个上海电信的 ip 完全不丢包，你从海外回程追踪就知道上海本地交换网炸成什么样了，软银、pccw 什么的通通废掉

mytsing520

2018-10-29 11:19:51 +08:00

上海要开大会了

zhouyut001

2018-10-29 11:58:48 +08:00

前晚上 HKBN 中心節點反應 250ms,看個電視都卡。

happylty

2018-10-29 12:33:32 +08:00

联通很稳。。。

caijianhua

2018-10-29 13:24:26 +08:00

看了下我的软银线上海出口和平常没任何区别，安畅美西也没问题

caijianhua

2018-10-29 13:26:13 +08:00

好奇你哪家 sb 的 vps，总共就那么几家走 sb 线的

hlz0812

2018-10-29 14:22:22 +08:00 via iPhone

@caijianhua 现在没问题，晚上的时候会有人对电信上海骨干 ddos，到时候你可以看。用的阿里云。cn2 南京骨干偶尔会遇到被 ddos，一般情况还行

univert

2018-10-29 16:25:33 +08:00

@hlz0812 对电信做 ddos 是什么意图？

ggllioio

2018-10-29 16:34:15 +08:00 via Android

@hlz0812 对线路做 ddos 怎么操作？

hlz0812

2018-10-29 17:09:12 +08:00 via iPhone

@univert 我也不知道，就是有些人闲着没事到处 ddos

hlz0812

2018-10-29 17:12:08 +08:00 via iPhone

@ggllioio 对电信国际出口出国前倒数第二跳恶意发包导致国内骨干爆炸，表现于海外-上海国际出口正常，上海国际出口与国内骨干相连的部分高延迟丢包

MEISTING

2018-10-29 17:21:30 +08:00 via Android

回程不炸就行了

hlz0812

2018-10-29 19:36:19 +08:00 via iPhone

@MEISTING 回程也死了，有意思的是拥塞段位于国内，而不是国外到国内

blakebill

2018-10-30 09:00:51 +08:00 via Android

點對點對稱原則，路由有時候保護會直接不回复部分，第一跳與最後一跳沒問題就沒問題

bclerdx

2018-10-31 00:24:46 +08:00

@tia 最终目的地 IP 丢包了，就说明炸了？

tys

2018-10-31 22:49:17 +08:00

MTR
4. 202.97.62.5 0.0% 415 6.6 4.9 0.8 11.9 2.2
5. 202.97.27.213 0.0% 415 160.6 163.4 159.4 167.7 2.2
6. 202.97.90.34 2.2% 414 162.3 160.5 158.5 162.9 1.0
7. 202.97.49.33 21.7% 414 197.3 198.9 194.9 203.2 2.2
8. 101.95.120.165 21.7% 414 205.1 205.5 204.8 214.1 0.9
9. 61.152.28.246 20.8% 414 195.1 193.2 192.0 214.2 2.0
10. xxx.xxx.xxx.xx 20.3% 414 186.9 187.0 186.1 189.1 0.2

PING
48 packets transmitted, 43 received, 10% packet loss, time 47041ms
rtt min/avg/max/mdev = 173.477/186.662/191.602/2.255 ms

网速慢成狗！

hlz0812

2018-10-31 23:11:47 +08:00 via iPhone

@tys 主要问题在落地上海的第二跳和第三跳的互联

tys

2018-11-01 00:16:49 +08:00 via iPad

@hlz0812 很奇怪，我 LA 走 cn2 的 vps 很正常，但是 Fremont 的 vps 走 HE 机来到上海这边就有问题。

CernetBoom

2018-11-01 02:34:51 +08:00 via Android

@tys CN2 GIA 的话 163 走独立链路进 CN2 骨干

hlz0812

2018-11-01 09:34:27 +08:00 via iPhone

@CernetBoom 163 到 cn2 的省互联骨干也经常遇到被 ddos 塞爆，南京骨干

CernetBoom

2018-11-01 10:11:37 +08:00 via Android

@hlz0812 南京那个就是日常

tys

2018-11-01 11:54:34 +08:00

@CernetBoom

202.97.33.126 99.5%
这是什么节点？从本地 mtr 到 Fremont 的 vps，这个节点把包都给丢了。

hlz0812

2018-11-01 12:27:43 +08:00 via iPhone

@tys 99.5%这是中间节点不回而已，上海本地骨干拥塞发生在回国到上海后第二跳和第三跳之间，如果从出国方向看的话就是第一跳 202.97 和第二跳 202.97 之间，上海最后那一跳与海外的互联带宽远远超过上海本地互联的带宽了

MEISTING

2018-11-01 12:35:41 +08:00

南京到 cn2 直接城域网就进了吧，不需要过 202.97 吧？

hlz0812

2018-11-01 12:50:00 +08:00 via iPhone

@MEISTING 没有见到 202.97 不代表就没经过 163，ip 地址只是一个数字而已，这个 ip 在哪个网络内是运营商定的，有很多 202.97 的 ip 都是分配给海外运营商的了，同理，从 163-cn2 没出现 202.97 不代表就是流量不经过 163，城域网还是 AS4134，真的直接接入 CN2 的 ip 到 163 都是经过 59.43 的，而且那个 ip 是属于 AS4809。所有 AS4134 的 ip 不管从哪里接入 cn2 都会占用 163-cn2 的互联带宽

hlz0812

2018-11-01 12:56:30 +08:00 via iPhone

@MEISTING 可以城域网直接到 cn2 的 ip 随便举个例子，58.32.16.1，202.111.60.1，这个不占用 163 的互联带宽，骨干被 ddos 的时候不影响。南京电信 163 到 cn2 如果直接出现 59.43 ，那 59.43 前面那一跳南京电信本地的 ip 的路由器一定拥有 202.97 开头的 ip，只是因为你在南京对你返回一个南京本地的 ip。互联网交换都是在一台路由器上配置很多不同运营商的 ip 实现的。比如 129.250.66.62 这个 ip，你以为真的是 ntt 在上海的 pop 吗？错了，这个 ip 已经给电信了，只不过以 ntt 的骨干网 ip 形式表现出来，只是个数字而已，其实本质上是上海电信出国前最后一跳的那台路由器，电信用户 tracert 出去时候显示电信 ip，外国 tracert 回来显示境外运营商 ip

hlz0812

2018-11-01 13:01:02 +08:00 via iPhone

@MEISTING 江苏去 cn2 gia 去程必然经过 163 南京交换点，回程的时候可以走到地级市的交换点，但不是所有 ip 段走的到。无锡电信部分 ip 段回程继续走南京回来，部分 ip 直接 cn2 一路到无锡

MEISTING

2018-11-01 13:31:24 +08:00 via Android

@hlz0812 我的意思是家宽城域网上层路由同时接入了 cn2 和 163。那种纯 cn2 的就只接了 cn2 吧。之前看到一张图，有些电信城域网是同时接入 163 cn2 的。

hlz0812

2018-11-01 13:33:49 +08:00 via iPhone

@MEISTING 部分城市城域网有 cn2，但只有回程是一路 cn2 走到底的，无锡电信就有 cn2，但是去程必定从南京上，而不能直接走城域网上，回程 49 开头的 ip 从南京换 163 回，其他 ip 城域网回，但是 ddos 主要堵死去程，去程绕南京了一点用都没，还是延迟爆炸

hlz0812

2018-11-01 13:37:53 +08:00 via iPhone

@MEISTING 重要的是要双向走城域网，单向的现在没啥用，现在很多问题都是 ddos 的锅，电信到日本的线路你觉得正常流量能搞成那样？去程搞的带宽比回程都小了，都是被人 ddos 搞成这样的，美国方向口子大没那么容易 d 死

MEISTING

2018-11-01 13:47:27 +08:00

@hlz0812 去程炸了也还好吧，反正流量主要在回程 /这是我之前看到的图，不过好多年前的了 https://s1.ax1x.com/2018/11/01/iWL4OO.jpg

hlz0812

2018-11-01 13:47:58 +08:00 via iPhone

@MEISTING 江苏本地看走城域网还是省交换看第几跳出 59.43 ，无锡有以下情况，第一种是走 163，第二种是城域网直接上

114.223.*.*
58.215.*.*
58.215.*.*
59.43.*.*

114.223.*.*
58.215.*.*
59.43.64.37

hlz0812

2018-11-01 14:07:41 +08:00 via iPhone

@MEISTING 去程炸了增加延迟，有时候国内爆到 100ms 其中 90ms 在去程，回程是正常的

tys

2018-11-01 14:14:11 +08:00

从香港的 vps 上 mtr 会上海

11. 202.97.24.185 9.1% 22 75.7 77.5 75.7 79.7 1.0
12. 61.152.86.185 18.2% 22 76.5 77.7 76.0 80.1 1.0
13. 61.152.3.126 18.2% 22 76.7 78.8 76.1 94.0 4.4

CernetBoom

2018-11-01 17:52:58 +08:00 via Android

@hlz0812 58.32.16.1 第一个这个本身就是国际精品网的 IP，普通上海电信又不能直接进 4809，202.111.60.1 第二个这个本身就在 4809 上宣告过了

CernetBoom

2018-11-01 17:53:35 +08:00 via Android

@hlz0812 这是 PTP IP 好吗

CernetBoom

2018-11-01 17:58:30 +08:00 via Android

@hlz0812 你这个城域网完全就是在 AS4134 上的

CernetBoom

2018-11-01 18:00:29 +08:00 via Android

@MEISTING 例如 AS4812 ？但是上海电信的普通宽带仍需经过 4134

hlz0812

2018-11-01 18:01:39 +08:00 via iPhone

@CernetBoom PTP 的具体定义是什么？想了解一下

hlz0812

2018-11-01 18:05:37 +08:00 via iPhone

@CernetBoom 现在电信是否存在某个 ip 可以真正实现同时接入 AS4134 和 AS4809 的？

dongdong95

2018-11-01 18:18:25 +08:00

你可以去买国内中转的飞机场代理

CernetBoom

2018-11-01 18:21:33 +08:00 via Android

@hlz0812 国内的所谓 BGP 还能电信，联通，移动都宣告一遍呢