现在使用了线程池创建, 不过速度还是很慢
This topic created in 2967 days ago, the information mentioned may be changed or developed.
Supplement 1 · Aug 12, 2018
这两天刚好需要删除这 300 万(其实我只生成了 200 万不到)文件, 发现 Windows 的删除太慢了, 不管是 bat 脚本, WSL 子系统, 删除保守估计需要几个小时(没统计, 开了一天的后台脚本), 所以最后的建议是 RAMDisk, 关机就删除.
 |
1
BQsummer Mar 30, 2018 via Android
换电脑，cpu 核心不够，线程再多也没用，反而慢。
|
 |
2
zj299792458 Mar 30, 2018 via iPhone
@BQsummer 这瓶颈在于 IO 了吧，CPU 过剩了
|
 |
3
rb6221 Mar 30, 2018 via Android
无限平方 复制粘贴大法？
|
 |
4
liucudliucud Mar 30, 2018 via Android
搭建一个 hadoop 集群
|
 |
5
lhx2008 Mar 30, 2018 via Android
nodejs npm 几下就有几百万个文件了（滑稽）
|
 |
6
lihongjie0209 OP @lhx2008 #5 黑的漂亮
|
|
7
lihongjie0209 OP |
|
8
lihongjie0209 OP @zj299792458 #2 我感觉是, 但是找不到什么好办法
|
 |
9
dobelee Mar 30, 2018 via Android
touch 三百万应该很快吧。
你发帖的时间应该 touch 完了。😂 |
|
10
lihongjie0209 OP @dobelee #9 光 for 循环 300 万次就需要很久了, 别说 io 操作了
|
 |
11
v2gba Mar 30, 2018
dd & split
|
 |
12
bingod Mar 31, 2018
创建一个 300 万条数据的文件，然后分成 100 个字典（或更多），再将每个字典里的文字保存成 30 万个包含单条数据的文件，可以用多线程。
|
|
13
bingod Mar 31, 2018
写错了，应该是 3 万条，主要的问题是文件系统比较慢
|
 |
14
STRRL Mar 31, 2018 via Android
估计是磁盘跟不上，试试 ramdisk
|
|
15
lihongjie0209 OP @STRRL #14 这个想法可以有, 谢谢
|
Select Language