现在有很多数据是通过 http 上报到服务器,然后服务器收到数据直接写入 redis 的队列里面。 然后每个队列有单独的 python 脚本把队列里面的数据 pop 出来写入数据库。现在麻烦的就是 1.每个队列写一个脚本入库,脚本多了变得难以管理。2.当一下有大量数据上报会导致数据挤压,如果不小心还会撑爆内存。。 不知道有没有大佬有这样的场景,怎么样做才可以最优雅呢
1
walkfish 2020-08-25 14:05:16 +08:00
message queue
|
2
wysnylc 2020-08-25 14:08:44 +08:00
写个脚本生成 python 脚本啊,不要觉得搞笑这就是解决方案
|
3
aladdindingding OP @walkfish ok 我去研究研究 之前一直是使用的 redis 的队列
|
4
aladdindingding OP @wysnylc 套娃了。。
|
5
aladdindingding OP 还是没明白用消息队列和 redis 队列又啥区别和好处呢
|
6
wakzz 2020-08-25 15:16:54 +08:00
用 kafka 、rocketmq 之类的消息队列呀,redis 的队列太鸡肋了,还需要注意内存问题。
|