前不久在这里发了一个帖子,万兆网卡丢包的,现在同事新买了一个卡,结果检测硬件的时候发现好像又 TM 是山寨卡,欲哭无泪呀 。
Capabilities: [e0] Vital Product Data
Product Name: roadnet Digo V01.00070156100614V2.0.44.14iSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSiSi
一大堆填充物,无语
@redsonic ,大神,有空帮我看看么
1
lhbc 2016-06-07 12:42:32 +08:00 via Android
82599 双口才几个钱啊……
|
2
hardware 2016-06-07 12:46:12 +08:00
我去 这是 isis 专用吗
|
3
yuedingwangji OP @lhbc 听同事说,这个网卡 要 8000 块呢
|
4
innoink 2016-06-07 13:58:57 +08:00 via Android
我们这里有个服务器上也是这样,用起来没发现有什么异常啊
|
5
yuedingwangji OP @innoink 我们丢包丢得很严重
|
6
lhbc 2016-06-07 15:45:42 +08:00
@yuedingwangji 我们拿的 Intel X540 ,双 10G SFP+,不到 1500
DPDK 可以发 1400 万包 |
7
notgod 2016-06-07 15:47:16 +08:00 via iPhone
mtu 改下
|
8
3dwelcome 2016-06-07 16:06:03 +08:00
丢包有时候不一定是网卡硬件问题,和系统设置的自动跃点也有关系,你需要具体分析一下的。
|
9
redsonic 2016-06-07 16:21:35 +08:00
这价格......是不是回扣拿的太多了,原装卡有这价格? 这个我也爱莫能助。 ethtool -S ethx |grep rx_missed_error 看一下是否还是增加。 我记得你那个服务器是 DELL 吧,打他们售后工程师电话,我说过了 什么都不跑还丢包就直接 call 。
@lhbc 发包和收包完全俩概念,不用 dpdk 只要处理器够也能发小包线速,但收就不行了。 |
10
redsonic 2016-06-07 16:30:59 +08:00
@3dwelcome LZ 那个是四路服务器,共 64 核,裸跑,网卡硬中断都在 socket0 上面, NAPI 没有丢包,但网卡上的 ring 已经爆掉丢包了,所以怀疑是硬件问题。系统自动跃点是什么,是 ACPI 的 SRAT 吗? 有其他思路分享一下。
|
11
3dwelcome 2016-06-07 16:39:06 +08:00
你们说的好专业,汗。
自动跃点就是 Route 里的 metric ,太 low 了,请直接无视我吧,啊哈哈。 |
12
w2exzz 2016-06-07 16:44:30 +08:00
82599 贵的也就 1000 多吧…… 8000 是镀金了么?
|
13
redsonic 2016-06-07 16:48:16 +08:00
@w2exzz 1000 多的还是寨卡,原装双口 intel 82580 都不止这价格, taobao 上的太乱不能说事儿。
|
15
w2exzz 2016-06-07 16:51:45 +08:00
话说 NUMA 架构下 PCIE 插口跟内存一样,和 cpu 好像是有远近关系的……换个 pcie 插口试试?
|
16
yuedingwangji OP @redsonic 这个星期专门过去服务器那边,找了上层分配流量的人调试,当流量大于 800M 的时候就会丢包 rx_missed_error 一直在持续增加, 400M 的时候就完全不丢包 ..
|
17
yuedingwangji OP @redsonic 不是很清楚,反正我看了总线哪里的信息, 2 快网卡块是 inter x620 一块 x520 , 620 那边网卡的 Product Name: roadnet Digo V01.00070156100614V2.0.44.14 跟之前服务器那个网卡好像差不多, 520 那块网卡上面找不到 Product Name 的信息 。
|
18
yuedingwangji OP 周末过去调试设备,在流量大于 800M 的时候就会丢包, 流量不是很大的时候就完全不丢包 ,那边的负责人说是 inter 网卡跟 dell 服务器不兼容问题导致的,这个问题大家怎么看?
|
19
redsonic 2016-06-12 16:38:01 +08:00
@yuedingwangji 因为硬件问题现在只有第一个 cpu 能够处理包, 400M 的时候能扛住所以不丢包。那个负责人说的对,不能用寨卡一定要用官方指定的,但它说 intel 的都不兼容就绝对了,官方也有 intel 的。另外 boardcom 也有万兆,也可以试试。
|
20
yuedingwangji OP @redsonic 你是说硬件和网卡都可能有问题? 开发那个程序的人写的文档说一定要 inter 的网卡,要不无法采集数据,之前用过博通的网卡,采集不到数据
|
21
redsonic 2016-06-12 17:38:12 +08:00
@yuedingwangji 我说的硬件问题还是指那个网卡,我的想法基本和你说的那个负责人相同。如果开发指定了 intel 的卡说明用来 zerocopy 、 DPDK 之类的。就不能从 dell 官网买块卡吗,花钱能解决的事儿不是事儿
|
22
yuedingwangji OP @redsonic 上次说原来的卡是山寨卡,然后同事重新又拿了 2 块卡,现在都还不行,估计同事不会再去买卡了。。
|
23
yuedingwangji OP @redsonic 对了 , 我印象中 是专门布了一套程序 来采集和分析数据的, 叫 xkernel 和 mycap 的 程序
|
24
yuedingwangji OP @redsonic 我昨晚去 DELL 官网看了一下 inter X520 的 卡也就卖 2000 多,为什么我同事买个卡要 8 9 千呢
|