10Gb 网络问题，单线程速度很低

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3273 天前的主题，其中的信息可能已经有所发展或是发生改变。

单线程只有 1Gb 左右

多线程正常
跟硬盘没关系，跟硬盘没关系，跟硬盘没关系
跟MTU没关系，跟MTU没关系，跟MTU没关系
跟巨包没关系，跟巨包没关系，跟巨包没关系

系统是 smartos ，网卡是 Intel X529

看邮件列表也有人反应这个问题
Oracle 的系统也有类似问题
Freebsd 也有类似问题
根据 Oracle 的文档推测，是单线程能分配到的 CPU 资源有关
很可惜 smartos 跟 Solaris 还是有些差别，有的参数没效果

但是看红帽工程师的一个 10Gb 网络调优演示
红帽是没有这个问题的
单线程就能跑满

所以我想问各位
Linux 常见发行版，比如 Ubuntu ， Debian ， Arch ，是不是单线程跑 10Gb 没有问题
另外， Windows 有没有问题？

哪位有相关经验的分享一下

单线

SmartOS

Oracle

红帽

15 条回复 • 2015-12-11 06:49:54 +08:00

ryd994

2015-12-09 06:25:08 +08:00 via Android

这…… U 盘启动自己测一下会比较靠谱

aku

2015-12-09 07:12:31 +08:00 via Android

@ryd994 我要哭了

上次为了一个兼容性问题

连续测试了 freenas freebsd omnios smartos ubuntu …

这才几天……

😵
人生为何如此艰难…

geeklian

2015-12-09 07:13:57 +08:00 via iPhone

也没说什么应用，什么环境，怎么测的....
只能推测是人品问题。

xbb7766

2015-12-09 07:33:54 +08:00 via Android

感觉可能是 cpu 单线程瓶颈，毕竟 10G ，不同系统下网卡驱动是不是一样啊？你说红帽没问题是不是红帽的网卡驱动方面有优化.

lhbc

2015-12-09 08:39:32 +08:00 via Android

iperf ，我们线上测试 10G 是能跑满的。 CentOS 系统。
另外，我们 MIPS 架构 36 核都能跑 30G 。

ryd994

2015-12-09 11:39:18 +08:00 via Android

@aku 抽屉里一堆 U 盘，一个一个插上去重启就好了啊，反正 Linux 下同样硬件程序基本可以互换

aku

2015-12-09 15:04:45 +08:00 via Android

@lhbc 你们的 iperf 是单连接测试结果还是多连接测试结果？

我看红帽在没有任何调优的情况下单连接就好几个 Gb 了

aku

2015-12-09 15:07:57 +08:00 via Android

@geeklian 你大概没有做过 1Gb 以上的网络

上面的信息已经足够了

又不是调优
明显是其它大问题

我主要是问一下其他人的不同系统的情况而已

aku

2015-12-09 15:14:33 +08:00 via Android

@xbb7766 不知道是不是驱动有优化

可能性不大

基本可以肯定是 CPU 资源限制
感觉还是跟 kernel 有关

lhbc

2015-12-09 17:16:09 +08:00

@aku 默认参数直接跑
[ 4] local 10.200.1.254 port 5001 connected with 10.200.2.254 port 59704
[ ID] Interval Transfer Bandwidth
[ 4] 0.0-10.0 sec 12.3 GBytes 10.6 Gbits/sec

aku

2015-12-09 19:27:35 +08:00 via Android

@xbb7766
@lhbc
刚刚试了下，从 Ubuntu 向 smartos 发包，速度正常
smartos 向 Ubuntu 发包，就只有 1Gb 左右

看来要换系统了
Solaris ， BSD 太陈旧了

lhbc

2015-12-09 19:46:36 +08:00 via Android

@aku 驱动问题吧。
BSD 的网络不比 Linux 差。

aku

2015-12-09 20:10:32 +08:00

@lhbc 很喜欢 BSD ， Solaris 的一些特性
可惜驱动太陈旧了，经常等要从 linux backport 过去
没办法了，只能割爱了

不过这次的问题我感觉并非驱动
oracle 有一篇文章提到
https://blogs.oracle.com/dlutz/entry/maximizing_nfs_client_performance_on
虽然文章很老了，但问题依旧

chinawrj

2015-12-09 20:35:34 +08:00

开大你的 tcp window

tifan

2015-12-11 06:49:54 +08:00

你可以用 dtrace 跟踪一下。

http://www.dtracebook.com/index.php/Main_Page