之前 Redis 单机节点,我将要插入的 redis 的数据编辑为命令,写入 txt 文本文件里。然后调用
cat data.txt | redis-cli --pipe
批量向 redis 中插入数据。
但是现在我换成集群方案了(redis 4.0),六台服务器,三主三从,我这里还是有很多数据要等待批量写入。请问这种情况下批量写入应该有什么方案呢?
1
anonymoustian OP 都收藏,没有人回答么。。。
|
2
yuqaf 2018-03-11 23:04:15 +08:00
从原理上来说就是不能。。。每次插入的数据都有可能在不同的机器上,如果放到一个连接里头。。。
|
3
Immortal 2018-03-12 01:30:13 +08:00
不知道把批量处理的数据分成 /n 段,从三主同时写会不会快一些,一下子也没想到特别好的方案
|
4
ETiV 2018-03-12 06:07:48 +08:00 via iPhone
|
5
etc 2018-03-12 08:35:07 +08:00 via iPhone
唯品会有个开源的 redis 集群导数据工具,你去 github 找下 vipshop 下面,我用过还不错
|
6
leriou 2018-08-17 15:32:32 +08:00
我们之前遇到过, 写了个工具, 自己通过 crc 计算落到的数据槽, 将同一个机器上的键使用 pipline
|