这是一个创建于 3627 天前的主题，其中的信息可能已经有所发展或是发生改变。
有优化高手没，咨询个 IO 高并发的问题
一个采集程序，mysql 数据库已经 将近 40G 。 之前没查io以为是 数据量的问题(几千万条数据,27G大小)，所以分了表,单表基本在百万条2G左右大小。
分表以后稍好一点,还是很卡，我就查了IO占用，发现占用很高 如下图， 有 搞运维的没 给瞅瞅 看有啥缓解办法没。
做raid 或者换 SSD 这办法我也清楚。不过之前是我负责的项目，现在我已经离职了,不想撒手不管,暂时硬件上可能做不了什么。
截图的这台机器是普通硬盘，另外一台机器是 SAS 只比这个稍好一点。
Total DISK READ: 953.85 K/s | Total DISK WRITE: 1641.87 K/s
TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND
2040 be/4 root 27.36 K/s 11.73 K/s 0.00 % 99.99 % php /usr/oook.php 1 8
2041 be/4 root 50.82 K/s 66.46 K/s 0.00 % 99.99 % php /usr/oook.php 1 15
2060 be/4 root 66.46 K/s 70.37 K/s 0.00 % 99.99 % php /usr/oook.php 8 0
2039 be/4 root 58.64 K/s 62.55 K/s 0.00 % 99.99 % php /usr/oook.php 1 0
2045 be/4 root 46.91 K/s 27.36 K/s 0.00 % 99.99 % php /usr/oook.php 3 0
2036 be/4 root 46.91 K/s 31.27 K/s 0.00 % 99.99 % php /usr/oook.php 0 0
2087 be/4 root 43.00 K/s 70.37 K/s 0.00 % 99.99 % php /usr/oook.php 8 15
2053 be/4 root 54.73 K/s 35.18 K/s 0.00 % 99.99 % php /usr/oook.php 5 15
2049 be/4 root 19.55 K/s 43.00 K/s 0.00 % 99.99 % php /usr/oook.php 4 8
2058 be/4 root 15.64 K/s 7.82 K/s 0.00 % 96.09 % php /usr/oook.php 7 8
2057 be/4 root 35.18 K/s 27.36 K/s 0.00 % 94.99 % php /usr/oook.php 7 0
2046 be/4 root 43.00 K/s 35.18 K/s 0.00 % 93.52 % php /usr/oook.php 3 8
2043 be/4 root 43.00 K/s 35.18 K/s 0.00 % 91.56 % php /usr/oook.php 2 8
2056 be/4 root 35.18 K/s 35.18 K/s 0.00 % 91.32 % php /usr/oook.php 6 15
2037 be/4 root 46.91 K/s 39.09 K/s 0.00 % 91.20 % php /usr/oook.php 0 8
2051 be/4 root 3.91 K/s 35.18 K/s 0.00 % 90.07 % php /usr/oook.php 5 0
2042 be/4 root 39.09 K/s 35.18 K/s 0.00 % 89.00 % php /usr/oook.php 2 0
2047 be/4 root 31.27 K/s 35.18 K/s 0.00 % 85.69 % php /usr/oook.php 3 15
2052 be/4 root 3.91 K/s 0.00 B/s 0.00 % 85.26 % php /usr/oook.php 5 8
2038 be/4 root 27.36 K/s 39.09 K/s 0.00 % 82.17 % php /usr/oook.php 0 15
2050 be/4 root 43.00 K/s 35.18 K/s 0.00 % 81.07 % php /usr/oook.php 4 15
2044 be/4 root 23.46 K/s 35.18 K/s 0.00 % 80.80 % php /usr/oook.php 2 15
2055 be/4 root 62.55 K/s 46.91 K/s 0.00 % 80.30 % php /usr/oook.php 6 8
2054 be/4 root 15.64 K/s 7.82 K/s 0.00 % 78.17 % php /usr/oook.php 6 0
2059 be/4 root 50.82 K/s 50.82 K/s 0.00 % 75.61 % php /usr/oook.php 7 15
一个采集程序，mysql 数据库已经 将近 40G 。 之前没查io以为是 数据量的问题(几千万条数据,27G大小)，所以分了表,单表基本在百万条2G左右大小。
分表以后稍好一点,还是很卡，我就查了IO占用，发现占用很高 如下图， 有 搞运维的没 给瞅瞅 看有啥缓解办法没。
做raid 或者换 SSD 这办法我也清楚。不过之前是我负责的项目，现在我已经离职了,不想撒手不管,暂时硬件上可能做不了什么。
截图的这台机器是普通硬盘，另外一台机器是 SAS 只比这个稍好一点。
Total DISK READ: 953.85 K/s | Total DISK WRITE: 1641.87 K/s
TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND
2040 be/4 root 27.36 K/s 11.73 K/s 0.00 % 99.99 % php /usr/oook.php 1 8
2041 be/4 root 50.82 K/s 66.46 K/s 0.00 % 99.99 % php /usr/oook.php 1 15
2060 be/4 root 66.46 K/s 70.37 K/s 0.00 % 99.99 % php /usr/oook.php 8 0
2039 be/4 root 58.64 K/s 62.55 K/s 0.00 % 99.99 % php /usr/oook.php 1 0
2045 be/4 root 46.91 K/s 27.36 K/s 0.00 % 99.99 % php /usr/oook.php 3 0
2036 be/4 root 46.91 K/s 31.27 K/s 0.00 % 99.99 % php /usr/oook.php 0 0
2087 be/4 root 43.00 K/s 70.37 K/s 0.00 % 99.99 % php /usr/oook.php 8 15
2053 be/4 root 54.73 K/s 35.18 K/s 0.00 % 99.99 % php /usr/oook.php 5 15
2049 be/4 root 19.55 K/s 43.00 K/s 0.00 % 99.99 % php /usr/oook.php 4 8
2058 be/4 root 15.64 K/s 7.82 K/s 0.00 % 96.09 % php /usr/oook.php 7 8
2057 be/4 root 35.18 K/s 27.36 K/s 0.00 % 94.99 % php /usr/oook.php 7 0
2046 be/4 root 43.00 K/s 35.18 K/s 0.00 % 93.52 % php /usr/oook.php 3 8
2043 be/4 root 43.00 K/s 35.18 K/s 0.00 % 91.56 % php /usr/oook.php 2 8
2056 be/4 root 35.18 K/s 35.18 K/s 0.00 % 91.32 % php /usr/oook.php 6 15
2037 be/4 root 46.91 K/s 39.09 K/s 0.00 % 91.20 % php /usr/oook.php 0 8
2051 be/4 root 3.91 K/s 35.18 K/s 0.00 % 90.07 % php /usr/oook.php 5 0
2042 be/4 root 39.09 K/s 35.18 K/s 0.00 % 89.00 % php /usr/oook.php 2 0
2047 be/4 root 31.27 K/s 35.18 K/s 0.00 % 85.69 % php /usr/oook.php 3 15
2052 be/4 root 3.91 K/s 0.00 B/s 0.00 % 85.26 % php /usr/oook.php 5 8
2038 be/4 root 27.36 K/s 39.09 K/s 0.00 % 82.17 % php /usr/oook.php 0 15
2050 be/4 root 43.00 K/s 35.18 K/s 0.00 % 81.07 % php /usr/oook.php 4 15
2044 be/4 root 23.46 K/s 35.18 K/s 0.00 % 80.80 % php /usr/oook.php 2 15
2055 be/4 root 62.55 K/s 46.91 K/s 0.00 % 80.30 % php /usr/oook.php 6 8
2054 be/4 root 15.64 K/s 7.82 K/s 0.00 % 78.17 % php /usr/oook.php 6 0
2059 be/4 root 50.82 K/s 50.82 K/s 0.00 % 75.61 % php /usr/oook.php 7 15
 |
1
ETiV 2014-12-20 15:57:11 +08:00 via iPhone
物理极限都达到了，只能用物理的办法解决了……
|
 |
2
xiaoyaoking OP @ETiV 也咨询了几个运维的朋友，有建议换nosql的。 有建议把库放内存里跑的。。放内存是个好办法,不过数据安全性也很重要,看来还是只能从硬件上入手了。先建议原雇主做 raid 吧。 SSD 貌似安全性也不太好。 之前有个站 10W+ IP 用SSD 就丢过一次数据，数据库也在SSD上。。恢复了半天。。。
|
Select Language