内网互拷文件速度今天突然从 100+MB/S 降到 30MB/S 了，找不到问题出在哪
yao990 · 2020-03-06 01:17:45 +08:00 · 11191 次点击这是一个创建于 1722 天前的主题，其中的信息可能已经有所发展或是发生改变。
我那个用 centos 作的家庭存储，一直用的好好的，大文件互拷一般都在 100MB/S 以上，今天把机器拉出来吹了下灰尘，然后速度就降到 30+MB/S 了，然后重启电脑、重启路由器、重做水晶头都不顶用，，不知道到底是哪的问题？ 配置如下： cpu：j1800 内存：8G 网卡：PCIE X1 82576 双口千兆 硬盘：HGST 3T *2 路由器：asus ac68u 系统：centos7，挂载 nfs
但是我现在无论是使用 sftp 还是 nfs 或者 smb 都无法再达到之前的速度。。 这个和软件有没有关系？我这两天在折腾 crossover，，
 |
1
visitant 2020-03-06 01:22:41 +08:00
既然每秒 30 多 MB,那网络导致的可能性比较小,测试下 centos 上现在硬盘的速度是多少?
|
 |
2
yao990 OP @visitant 测试结果如下
/dev/sda3: Timing cached reads: 3802 MB in 1.99 seconds = 1907.58 MB/sec Timing buffered disk reads: 434 MB in 3.00 seconds = 144.45 MB/sec /dev/sdb1: Timing cached reads: 3506 MB in 1.99 seconds = 1758.76 MB/sec Timing buffered disk reads: 452 MB in 3.01 seconds = 150.25 MB/sec |
|
3
yao990 OP @visitant
我笔记本的速度 /dev/sda2: Timing cached reads: 10134 MB in 1.99 seconds = 5097.10 MB/sec Timing buffered disk reads: 350 MB in 3.00 seconds = 116.52 MB/sec |
 |
4
cev2 2020-03-06 01:40:30 +08:00
哈哈，又看到你了，只有 30MB/s ？能上个图看看吗，你确定连得不是 WiFi ？
|
|
5
visitant 2020-03-06 01:53:48 +08:00 via iPhone
@yao990 timing cached 是啥意思。。该不是读写缓存了吧，写入 5g 每秒也太快了吧
|
 |
7
catror 2020-03-06 01:54:48 +08:00 via Android
先笔记本网线直连测一下。逐步缩小问题范围，不要盲目的测试。
|
|
8
yao990 OP @cev2 不是 wifi，笔记本和存储都是 centos7，笔记本连的有线网，两边都是千兆。。
这个图片，，，，我这样发出来不知道你能看到不？？ https://s.cxice.com/thread-3816.htm |
 |
10
cloudbeyond 2020-03-06 02:05:26 +08:00
千兆是全双工吗？可能是自协商没有到全双工
|
|
11
yao990 OP @catror 我也想直连，但是我发现了一个新问题，只要笔记本有线和路由器一断开立马假死，插别的地方都没用，再怎么搞都没反应，但是一插上路由器立马又好了
|
|
13
cev2 2020-03-06 02:19:10 +08:00
不知道你这俩硬盘已用空间占比多少，组没组 raid，50MB/s 的话 SATA 机械硬盘内圈也就这个速度。你从 NAS 里往外拷些老文件也是这个速度嘛？
|
 |
14
ysc3839 2020-03-06 02:26:11 +08:00 via Android
建议先用 iperf3 测速看看。
|
|
15
yao990 OP @cev2 centos 自带的 lvm 卷组，相当于 raid0，只能看到总用量 40.8%,看不到每个硬盘各自用了多少，拷新老文件一样的速度，之前读写都是 100+，今天突然就降了，nfs 模式读 30 多，sftp 模式读 50 多，写比读稍微快一些，60+，没错，写比读还要快了，不知道哪的毛病。。
|
 |
16
woshijidan 2020-03-06 02:32:26 +08:00 via Android
有没有可能是网线的问题?
|
|
17
yao990 OP @ysc3839 这是测速结果
[ ID] Interval Transfer Bandwidth Retr [ 4] 0.00-45.98 sec 5.00 GBytes 934 Mbits/sec 0 sender [ 4] 0.00-45.98 sec 5.00 GBytes 934 Mbits/sec receiver 看这个好像没啥问题，但是为啥拷文件那么慢？ |
|
18
cev2 2020-03-06 02:38:57 +08:00
@yao990 写比读快反过来你确定不是你笔记本的问题？
若没有第三设备测试的话， 先分别查看服务器到路由器、笔记本到路由器网口的协议速度是否正常，然后拷贝一个大文件同时观察服务器、路由器、笔记本 top 命令中各进程负载是否正常。未必是服务器的问题。 ps：你在玩 crossover 莫非是深度？截图不像呀。。 |
|
20
yao990 OP |
|
21
yao990 OP @cev2 没有，在想尽办法给 centos 装 microsoft office2007，于是有了 crossover，不是深度，是 centos7.。。。。
网络应该是没问题的，刚才用楼上推荐的 iperf3 测速，能达到 934Mbit/s 的速率，换句话说就是能达到 117MB/S 的网速。。。 [ ID] Interval Transfer Bandwidth Retr [ 4] 0.00-45.98 sec 5.00 GBytes 934 Mbits/sec 0 sender [ 4] 0.00-45.98 sec 5.00 GBytes 934 Mbits/sec receiver |
|
24
yao990 OP  2
@cev2 都是闲出来的问题，用了两年一动不动，一点问题没有，，今天清个灰，就出问题了。。
过个年，我已经折腾 4 次了，第一次是给笔记本换 xfce，结果系统崩了，最后重装，第二回是给音响换电位器，结果音响聋了，还好熬夜修好了，第三回是整白菜白光，结果烙铁不加热了，后来也修好了，这是第四次了，，，，， |
|
26
woshijidan 2020-03-06 11:59:40 +08:00 via Android
@yao990 reboot 试试?可能是某硬盘配置 bug 了
|
 |
27
augustheart 2020-03-06 12:20:33 +08:00
1.路由器口插得不对？
2.cat6 换成了 cat5 ？ 3.硬盘出现坏道了？ 4.该去武当山找张真人做个法了？（调皮） |
|
28
augustheart 2020-03-06 12:22:06 +08:00
ps：硬盘刚出现坏道的时候，可能在多次重试后还是能读取出来，表现出来就是读取速度大幅下降
|
|
29
visitant 2020-03-06 12:39:08 +08:00
|
 |
30
mateor95 2020-03-06 13:55:45 +08:00 via iPhone
我遇到过一次类似问题，是 usb 3.0 掉成 usb 2.0 的缘故，你的不清楚🤦♂️
|
|
31
yao990 OP @woshijidan 已经 reboot 无数次了，然而无一点效果。。。
|
|
32
yao990 OP @augustheart 路由器还是原来的路由器，线还是原来的线，口也是原来的口，水晶头我亲手做的，。，，，硬盘坏道？？这个，我觉得不太至于，要真是硬盘坏道就惨了
|
|
33
yao990 OP @augustheart 等我忙完测下坏道试试，老子保佑硬盘没问题
|
|
34
cev2 2020-03-06 14:32:53 +08:00 via Android
@yao990 😏若真的硬盘问题岂不可以借此将 lvm 更换为 zfs 或 btrfs，定时快照防手残岂不是美滋滋。单机下用 lvm 岂不是杀鸡屠牛刀。
|
|
35
yao990 OP @cev2 😱😱😱😱😱好恐怖，我决定回去就测下坏道，看到底有没有问题，，，另外，nfs 下为啥比 sftp 要慢？按道理是一样的才对
|
|
36
augustheart 2020-03-06 16:39:46 +08:00
@yao990 希望是我敏感了，我有过惨痛的回忆。
手上曾经的某台笔记本，每天都用得好好的，某晚心血来潮装系统（那时候年轻，还有装系统的精力），然后在安装过程中蓝屏，反复几次之后非常困惑，按说已经是 win7 了，不是硬件问题不大可能蓝屏。最后检查硬盘发现，果然红了一片……………… |
|
37
cev2 2020-03-06 16:39:57 +08:00
@yao990 #35 按道理也不一样呀，局域网内的话：
NFS 和 SMB 默认数据都是不加密的，而 SFTP 是经过 SSL 加密的，所以如果嵌入式设备性能有限（比如路由器当 NAS ） SFTP 可能跑不满。 NFS 用 UDP/TCP 传输文件，若 挂载的块（ Linux 叫法）大小 与 TCP 包大小 与 硬盘文件系统的簇（ Windows 叫法）大小 还有 以太网的帧大小 对不起来也可能跑不满，既然你以前能跑满又没改动过的话，那问题不大。 ps：以前我在路由器上（ openwrt ）挂载硬盘开 SMB 当 NAS，用 SMB 能跑满，但 SFTP 跑不满（ CPU 不支持加密指令集，满载），但如果开启路由器的硬件 NAT 加速功能 SMB 也跑不满了。。。 |
 |
39
bsidb 2020-03-06 18:38:53 +08:00
可以看看硬盘的 S.M.A.R.T 数据，如果磁盘有坏道，会有大范围异常。
|
 |
40
ym1996 2020-03-06 20:46:03 +08:00
感觉是硬盘的瓶颈吧
|
 |
41
suspended 2020-03-06 22:09:44 +08:00
@visitant 你可能对现在的 ssd 有点误解。samsung nvme pm981 这种便宜货都能读 3GB/s，写 1.8GB/s 了。
|
 |
43
beggarvip 2020-03-07 01:07:41 +08:00 via Android
挂个 ssd 上去再测
|
|
44
yao990 OP @augustheart 目前看来硬盘暂时是正常的，已经扫了 85%了，没发现坏道，，现在排除了硬盘和网络，那就剩系统了，可是系统会出什么问题？？
|
|
45
yao990 OP @cev2 好吧，我现在正在扫硬盘，从下午七点开始扫，现在扫了 85%了，暂时没发现坏道，如果硬盘和网络都被排除了，那好像就只剩下系统问题了，可是系统会出什么问题？
|
|
46
yao990 OP @bsidb 没看 smart，直接扫坏道，目前为止已经扫了接近 7 个小时了，完成了 85%，暂时没法玩坏道。
|
 |
48
LiYanHong 2020-03-07 09:29:11 +08:00
再找一台设备当服务器，互拷下看看，确定下是网络设备的问题还是服务器的问题
|
 |
49
dadachen1997 2020-03-07 09:51:43 +08:00
千兆网口被识别成百兆了？
|
 |
50
csdreamdong 2020-03-07 10:03:10 +08:00
可以先用 iperf 测下。是不是网络吞吐量的问题。。然后 dd 或者 fio 测下磁盘 io 问题
|
 |
51
xyjincan 2020-03-07 10:41:38 +08:00
配置 smb 重新设置一下，增加点缓存
|
 |
52
cherryas 2020-03-07 10:43:50 +08:00
可能和文件有关？表面上是大文件实际上的各种碎片文件的集合。
|
 |
53
laminux29 2020-03-07 12:46:48 +08:00
直接用替换法不就解决了。
|
 |
54
deef 2020-03-07 17:11:23 +08:00
你清了个灰...是不是动过网口了？重新用钳子做个头试试呢...
|
|
55
yao990 OP @csdreamdong 测过，吞吐量没问题，磁盘也正常
@dadachen1997 没有，正常千兆，要不然也不能到 50MB/S @deef 试过，无效。。 @cherryas 这个不应该，因为不可能所有的文件都是碎片，而现在是所有的文件拷贝速度都降下来了。 |
|
56
yao990 OP @optimus
@LiYanHong @cev2 @augustheart 最新进展 上次测了网络吞吐量，然后对硬盘进行了全盘扫描，最后发现无问题，那就剩下系统了。 那就换个系统再测，打算用 Ubuntu 试用版（像 pe 一样，无需安装就可以用），结果不知道什么原因，在笔记本上访问不到。 那就给移动硬盘里装个系统测试，先把移动硬盘现有分区缩小，腾出空间来装新系统，先用 gnome-disk 缩小，结果半路卡住了，可能是 gnome-disk 对 ntfs 支持的不好，于是分区损坏，于是换到 Windows （笔记本是双系统）下进行 chkdsk,移动硬盘是 1T 的，所以时间比较长，…………接近 10 个小时过去了，眼看快要完工了，结果，电脑突然重启了，完全没有任何预兆，，于是，前功尽弃，，然后又在服务器上换到 pe 下进行 chkdsk，又是十多个小时过去了，，这回成功了，这次在 diskgenius 下缩小分区，成功，重启，装系统，装的时候 U 盘是 uefi 格式，而移动硬盘是 mbr 分区表，装不进去，退出来，转换成 gpt，重启时发现 U 盘自带 mbr 格式，白转换了，既然已经转换了，那就继续装吧，用 uefi 启动 U 盘，安装，一切顺利，安装完成。 再测，一样的结果，那就说明不是系统问题，那是什么问题呢？我把笔记本切到 Windows 下，测试 smb 的速度，稳定 75MB/S，，，我感觉可能是我笔记本的 centos 出问题了，，我再试试用 Ubuntu 启动笔记本，连接服务器试下，希望能确定故障点。。 |
|
57
yao990 OP 3 月 9 日更新
这两天我又找来了一台电脑，同样安装 centos 和 win10，分别和服务器、笔记本在不同的系统下进行互拷操作，发现 centos 下的结果一致，sftp 基本在 50MB/S 左右，win10 下都在 75MB/S。都达不到之前的 100MB/S。 顿时我又觉得和系统无关了，，，下午准备再找台交换机再试。 |
|
58
yao990 OP 3 月 9 日下午
买来一台华三的 s1209f 八口千兆交换机，分别测试。 win - win，最高 75MB/S，不稳定。 centos smb - win，最高 117MB/S，同样不稳定，一会儿高了一会儿低了。 centos smb - win 中转 - win，稳定 75MB/S。 centos nfs - centos，最高 30MB/S，稳定在 24MB/S，， centos sftp - centos 中转 - centos nfs，稳定 42MB/S。 头大了，不知道到底哪的问题。。 |
 |
59
webs 2020-03-10 14:44:06 +08:00
隔壁老王也在拷贝占了带宽吧，或者冠希在下小电影狂写磁盘
|
|
60
yao990 OP 3 月 10 日
升级了 nfs v4.1，依然龟速 |
 |
62
optimus 2020-03-11 00:52:13 +08:00
继续关注和死磕 ing
|
 |
63
DUSTINTHEWIND 2020-03-11 16:18:43 +08:00
亲 这边建议把灰重新涂上试试
|
|
64
yao990 OP @DUSTINTHEWIND 🤣🤣🤣🤣🤣这个就不必了，毕竟灰已经没了，找不回来了
|
Select Language