关于消息队列对选型和微服务

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 2579 days ago, the information mentioned may be changed or developed.

之前没用过消息队列，背景是这样的：

生产者分发题目到多个消费者，消费者计算出结果再汇总。这个业务量应该很大，百万级别吧。

分发需要消息队列吗？目前看中了 nsq，因为程序是 go 语言开发，nsq 有一个负载均衡的功能；

汇总需要消息队列吗？其实汇总就是为了方便统计结果，目前的思路是写到一个数据库，每个机器打包多条结果发送到消息队列再由数据库所在服务器进行写入，或者直接写入？有什么更好的方法吗？

另外需要上微服务吗？目前只考虑计算 A 结果，后续可能会有 B 结果 C 结果，上微服务有利于扩展吗？

老大要我给出中间件到调研结果。。。

队列

nsq

汇总

写入

18 replies • 2019-04-30 10:47:34 +08:00

xyqhkr

Apr 29, 2019

nsq 支持的客户端较少。貌似现在也不怎么更新了。。kafaka 比较多吧

wind3110991

Apr 29, 2019

（ 1 ）百万级别不算多，你的场景加好锁就行了；
（ 2 ）多个消费者直接从消费者取，不用分发；
（ 3 ）一定要用消息队列的话，建议用 kafka，单独开一个 topic ；
（ 4 ）计算结果结束后，如果结果之间存在关联关系，需要再次写入队列计算，这里用消息队列和 queue 都可以；
不要介意，总感觉你这个需求感觉说的不清不楚，有点为了用消息队列和为了用微服务而用的感觉。

EthanDon

Apr 29, 2019

@xyqhkr 你知道哪个消息队列支持多个生产者一个消费者的模式吗？

EthanDon

Apr 29, 2019

@wind3110991 感谢回复，的确是这样的。我还是个 noob，微服务和消息队列之前都没接触过，既然被委任调研中间件就思考了一下怎么去用，怎么可能用得上。。
（ 2 ）这个怎么直接取呢？利用 redis 吗？
（ 3 ） kafka 可以支持多个生产者一个消费者吗？
（ 4 ）应该是没有关联的。其实计算结果是一些指标，比如 url 能不能访问，延迟多少之类的。

wind3110991

Apr 29, 2019

（ 2 ）一个进程取所有题目回来，开 N 个子线程直接消费；
（ 3 ）可以，https://www.jianshu.com/p/6233d5341dfe
（ 4 ）那你可以多个消费线程计算后直接刷新数据库；
你其实要理解的是，消息队列就是个管道，主要是为了解耦系统模块与模块之间的高耦合，降低相互之间的依赖，防止一个部分挂了后，整个系统都 GG ；

EthanDon

Apr 29, 2019

@wind3110991 嗯嗯谢谢
（ 4 ）里面还有一个问题是消费者是部署在多个机房甚至是跨网络的，直接访问数据库可能不太方便（这里我也不是很明白什么意思，当初老大给我讲让消费者直接读数据库可能不太好，但是我想再昂贵的操作也不过就是 http 了吧。。。）