- 最近用 java 做了一个小工具 可以向 mysql 插入大量插入随机数据 可是效率有点低
之前想过生成随机数据后 写到 txt 文本 再读到 数据库 但这需要 mysql 开启读文本的权限
想知道有其他方式优化插入速度么
This topic created in 2015 days ago, the information mentioned may be changed or developed.
 |
1
xuanbg Dec 19, 2020
楼主批量插入了解一下
|
 |
2
LGA1150 Dec 19, 2020
是自增主键吗？
|
 |
5
clrss Dec 19, 2020
server 端 prepare stmt 用了么
|
 |
6
ericbize Dec 19, 2020 via iPhone
lz 是单次插入单条吗？
|
 |
7
ZXCDFGTYU Dec 19, 2020  1
数据如果不重要的话可以把表结构设计为 memory，然后 insert 的时候，可以拼接多个 value，但是不要拼接太多
|
 |
8
johnsona Dec 19, 2020
九浅一深
|
 |
9
opengps Dec 19, 2020
机械硬盘的话，换成 ssd 硬盘
单条单次写入的话，改为多次批量写入 写入随机时候，保持聚集索引列是递增状态的 |
 |
10
wellsc Dec 19, 2020
换 myrocks 引擎，插入贼快，查找就有点捉急
|
 |
11
limuyan44 Dec 19, 2020
只是生成随机数据还有比存储过程快的吗
|
 |
19
ericls Dec 20, 2020 via iPhone
去掉 constraint 和 index
|
 |
20
foam Dec 20, 2020 via Android 1
@caiji11 他的意思是，你直接在存储过程里写随机值插数据。我没用过，对该方法不表态。
另外，如果用的是 inodb，插入前可以将 innodb_flush_log_at_trx_commit 设置为 0，保证最快插入，处理完再设置回去(默认值是 1)。该参数为 0 时表示每次事务(注意每次插入就是一次事务的提交)写到 buffer 后就返回了，会有个线程异步去刷到日志和落磁盘。而 1 则落到磁盘才返回。 |
 |
21
haosamax Dec 20, 2020 via iPhone
change buffer
|
 |
22
OldCarMan Dec 20, 2020
@caiji11 个人猜测 楼上说的存储过程应该是类似这个（ https://zhuanlan.zhihu.com/p/62626328 ）的意思，不知道是不是你想要的。另外，自增主键存储过程中可以用 AUTO_INCREMENT，其他字段也想自增的话，可以使用序列。
|
 |
23
YouLMAO Dec 20, 2020 via Android
购买 spanner, 全球三地三中心三活
|
|
25
OldCarMan Dec 21, 2020
@caiji11 我好奇，你用 java 这种方式批量导入随机数据的耗时是怎么样，我用我上面贴的例子，批量导入 20 万条（表结构 user(id,name,age)）数据到我电脑虚拟机 mysql 容器花了 44 秒左右。
|
 |
26
caiji11 OP @OldCarMan 很慢的 没有这么快 逻辑处理要耗费很多时间 做到可以自定义日期范围 以及一个表中几个日期之间的关系 如果没有自定义生成的话 出来的数据也不能用 主要考虑到这 所以没有用存储过程 用 go 会不会快些呢 哈哈
|
|
27
caiji11 OP @OldCarMan https://github.com/fcdml/MOCKSQL 工具地址 可以看看具体的实现
|
Select Language