V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
This topic created in 3709 days ago, the information mentioned may be changed or developed.
如图，存了一个 hash 结构的数据， key 是用户名， value 是这个用户的一些信息，这个 hash 结构的数据会增长，最后数据量可能非常大。
假如用 hgetall 一次取出所有数据，然后去遍历导出，大数据的情况可能会： 1.影响其他 redis 的操作 2.内存溢出
需求是把这个 hash 结构的数据导出，比如导出到数据表或者 excel 文件。
有什么好的技术实现方法？谢谢！（程序语言 PHP ， JAVA ， Python 都可以）
 |
1
yuankui Mar 1, 2016  1
一定是设计出了问题
|
 |
2
soli Mar 1, 2016 2
你需要的是 HSCAN ： http://redisdoc.com/hash/hscan.html
|
 |
4
Jaylee Mar 1, 2016 1
先 keys * 取所有 key ， 然后遍历
|
 |
5
tanteng OP @Jaylee 先 hkeys key ，然后根据这个 key 去遍历取 hash 的数据？？ 1.这个 keys 可能非常大有没有影响 2.这样会大大增加操作 redis 的次数，是不是问题
|
 |
7
zhs227 Mar 1, 2016 1
@tanteng Redis 官方原来有个加密的功能，但是官方说你们不应该太相信这个功能，因为 Redis 的存取速度太快了，破解起来飞起。
http://redis.io/commands/AUTH Note: because of the high performance nature of Redis, it is possible to try a lot of passwords in parallel in very short time, so make sure to generate a strong and very long password so that this attack is infeasible. 高速存取是 Redis 的优势，操作次数根本不是问题。 |
 |
8
kingddc314 Mar 1, 2016
可以使用 redis 内的 lua 脚本进行处理
EVAL script numkeys key [key ...] arg [arg ...] |
|
9
kingddc314 Mar 1, 2016 1
可能理解错了楼主的意思，同 2L ，你需要的应该是 HSCAN 进行遍历
|
|
10
tanteng OP @kingddc314 hscan 只支持 2.8 以上版本
|
 |
11
ynztyl10 Mar 1, 2016
keys * 确认没问题？不要误导。。
|
 |
12
fwrq41251 Mar 1, 2016
像这种情况一般还会有个 set 存所有用户的用户名吧。这样直接取这个 set,再根据 key 遍历就好了。
|
 |
13
zts1993 Mar 1, 2016
hscan 啊。。。。。
|
|
16
tanteng OP 从集合中取出所有用户 id ，和从 hash 中通过 hkeys 取，有什么不同吗
|
 |
18
neoblackcap Mar 1, 2016 1
@tanteng 一个是全部读到你 Client 端的内存里面，在 Client 端以一个数据结构或者对象的形式存在。一个只是一个迭代器。
简单而言，内存消耗不一样。 |
|
19
soli Mar 1, 2016 1
KEYS 、 HGETALL 等命令应禁止在生产环境使用。看官方文档，都有非常显眼的警告。
|
|
20
tanteng OP @neoblackcap 这个明白，但是要 2.8 才支持 hscan
|
 |
24
solaro Mar 9, 2016
如果是我，我会这么做：
1.一个 hash ， hash-key :uid, hash-value:zsetid_uid 2.一个 zset, id:uid ,value : user info 各种好判断， hash 效率高，单量小， zset 可以用来分页，分段取出 甚至你存储的时候可以做 shard |
|
25
solaro Mar 9, 2016
如果 hash 丢了，重建结构简单，
如果 zset 丢了，重建，也不难。 当然，你那个 hash 其实从业务上来说是最简单的 |
Select Language