[请教]Spring Boot 使用 Redis，缓存集合数据的疑问
fox0001 · 2022-08-11 10:12:35 +08:00 via Android · 2610 次点击这是一个创建于 833 天前的主题，其中的信息可能已经有所发展或是发生改变。
Spring Boot 集成 Redis ，使用 @Cacheable 等注解，以 ID 为 key ，可以方便地缓存数据。但是如果要缓存一个集合的数据，同时需要读取或更新其中某条数据的情况下，怎样做才是最近实践？
比如国家和地区数据，有 ID 、国家和地区名称等，最多 200 多条。这种数据变化频率极低，更新缓存可以忽略。只是有时需要获取所有数据（比如修改地址选国家），有时需要获取一条数据（比如显示地址）。
方案 1 ，使用 List 对象缓存所有国家。
取所有国家时，就是从 Redis 获取这个 List 对象。但是取一个国家时，需要或者这个 List 对象，再取出指定 ID 的数据。或者把 List 换成 LinkedHashMap ，提高获取单条数据的效率。但是，为了取一条数据而把所有国家从 Redis 反序列化出来，感觉有点浪费性能，甚至还不如直接从数据库取（这里需要测试对比）。
方案 2 ，只缓存单条国家数据。
就是 getCountryById 方法加上 @Cacheable 注解，提高获取单个国家的效率，而且这个使用场景更多。需要获取所有国家的话，直接查数据库。
方案 3 ，单条国家数据和所有国家数据分开缓存。
getCountryById 和 findAllCountries 两个方法都加上 @Cacheable 注解，各自的缓存 key 不同。缺点是缓存了两份相同的数据，更新缓存时还得两边都处理。
方案 4 ，使用 Redis 的 List 或者 Hash 数据类型进行缓存。
完美支持一次过获取全部数据和只获取单条数据的场景。更新时不用全部更新。缺点是不能使用 @Cacheable 等注解。
或者有没有更好的方案？
 |
1
Saxton 2022-08-11 10:25:34 +08:00
“感觉有点浪费性能，甚至还不如直接从数据库取”
内存和磁盘 IO 哪个快？ |
 |
2
hhhhhh123 2022-08-11 10:42:15 +08:00
不懂 java 但是这种场景 你想 o(1) 的话， 可以用 set ，key: '{''国家 1"：xx, "国家 2":xx}' 用 json 就好了，才 200+个 key 而已 . 每次使用 取出 key ，然后使用 json 转一下就行。
|
 |
4
LeegoYih 2022-08-11 10:50:22 +08:00
具体问题具体分析，像国家这种数据，启动服务实例时，直接存在本地内存也没关系，因为不可能会出现下一秒就多一个或少一个国家情况，当前，为了以防万一可以加一个刷新接口。
城市也是一样的，可以把热门城市放在本地内存，其他城市可以走缓存或数据库。 |
 |
5
hidemyself 2022-08-11 10:52:17 +08:00
你们很缺内存吗？这点数据量就是全部 load 到内存，会有多大影响
|
 |
6
simonlu9 2022-08-11 10:56:33 +08:00
cacheable 比较不好用，不能再同一个类使用，同类调用方法不生效，不能单独设置过期时间，比较坑，只能缓存列表，其他数据结构也用不上
|
 |
7
DeepRedApple 2022-08-11 11:01:27 +08:00
直接使用 guava cache 缓存到内存里面，定时或者 LRU 更新读库就好了
|
 |
8
cheng6563 2022-08-11 11:03:24 +08:00
Redisson
|
 |
9
vgbhfive 2022-08-11 11:34:15 +08:00
数据缓存到 redis 中，服务重启 load 到内存里，更新的时候先更新内存，在更新 redis 缓存。
|
 |
10
qinxi 2022-08-11 11:53:10 +08:00
@simonlu9 #6
不能再同一个类使用，同类调用方法不生效 这个属于 spring aop 的问题. 调用默认使用的 this 不是 spring 代理的对象, 因此 aop 不生效. 我一般采用自己注入自己(@Lazy), 调用同类方法时用注入的对象调. 过期时间这个确实不支持. 所以我自己写了一个带过期时间的 Cacheable |
 |
11
monmon 2022-08-11 14:05:43 +08:00
使用 Hash 类型存储单个国家数据，需要获取多个国家时使用 executePipelined 读取
|
 |
12
issakchill 2022-08-11 15:40:42 +08:00
如果是非分布式应用,直接用本地缓存好了
|
 |
14
lmshl 2022-08-11 15:58:54 +08:00
我选方案 5 ，把国家列表缓存到内存中，性能起码吊打 Redis 100 条街
|
 |
15
leogm9408leo 2022-08-11 16:01:59 +08:00
可枚举的、低频变更的数据，直接加载到内存里好了，存 redis 还要走网络 IO 和序列化
|
 |
17
themostlazyman 2022-08-11 16:44:37 +08:00
如果是 web 的话，性能最佳直接放客户端了。单机可以直接放内存，多机还是 redis 吧，方便维护。
|
 |
18
siweipancc 2022-08-12 13:48:26 +08:00 via iPhone
简单业务用抽象，不然老实用客户端。
或者自定义抽象，那就等同于维护了一套新的架构。 |
 |
19
zhady009 2022-08-12 15:00:57 +08:00
@Cacheable 有 keyGenerator 和 cacheResolver 来自定义需求
本地内存更新推荐用 Redisson 里的 RLocalCachedMap |
 |
20
golangLover 2022-08-27 23:33:52 +08:00
@fox0001 想请问一下你们关于 hibernate 二级缓存的问题，因为我们自己也在用，但有点问题我想不通。先谢谢了。
主要是我们对客户端的服务上用了二级缓存。问题是这个服务本身是可以被外部修改的（例如管理页面），但是管理页面跟这个服务是分离的。也就是说管理页面的修改其实并不能直接反应到这个服务上。那我们就想可不可以直接清除所有 cache ，但是这样做会有缓存雪崩的问题。问题是这个管理页面其实同时间可能修改颇为多的表，例如更新一个 store 页面，其实可能在更新三个表，那管理页面的清楚 cache 应该如何准确的 evict 掉这三个表的缓存呢。然而我们可能在管理页面可以改掉几十个表的。而且不同服务之间应该属于不同的 session factory, 应该也不能共用吧。请问你们是如何解决掉这个问题的。 |
 |
21
fox0001 OP @golangLover #20 多个服务都是使用 Hibernate 的话，可以配置为指向同一个二级缓存。Hibernate 二级缓存就不用手工清除了。
如果有的服务使用 Java ，有的使用 Go ，这种情况没遇到过。 |
|
22
golangLover 2022-08-28 10:14:19 +08:00
@fox0001 好的。谢谢你。
|
Select Language