比如 poll 了 1000 条内容,已经消费了 500 个,此时要中断消费,那么剩余的 500 个岂不是丢了,如何保证消费完再退出?监听信号量吗?
1
andrewpsy 2022-10-18 11:18:26 +08:00
你搜关键词 offset management ,不是一句两句能说清的。
一个简单粗暴的方法就是关闭 auto commit ,然后在 loop 里计数,每处理 x 个 message 后 commit 一下。 x 越小 commit 次数越多,overhead 大,重复处理或者 skip 掉的 message 就越少。 x 越大 commit 次数越少,overhead 小,但是可能需要重复处理的 message 更多,各种 tradeoff 要考虑。 |
2
daoqiongsi1101 OP @andrewpsy 你说的是提交 offset 的方式,自动提交,手动提交,自动手动结合,还有位移提交。我说的是取出来的消息,没消费完如何优雅中止
|