为什么 kafka 会在生产消息时可能丢数据,kafka 不是基于 tcp 协议的吗,又为什么消费者拉数据则不会丢数据呢,知乎同问,求大佬解答 https://www.zhihu.com/question/502982361
1
falsemask 2022-09-06 21:38:49 +08:00
1.生产者的消息不是立即写到磁盘里的,是写到操作系统的 buffer 里,操作系统会定期刷盘
2.多节点的情况下,ack 不是-1 ,写入主节点之后如果发生选举,也会导致丢数据 |
2
tonymua 2022-09-07 09:11:34 +08:00
https://juejin.cn/post/7135101805179961352 这个写的挺简洁明了的
|
3
Znemo 2022-10-03 16:31:13 +08:00
这和是否使用 tcp 协议没关系,这里说的消息丢失不是丢在网络链路里了,而是在复杂的分布式环境中为了保障高可用而出现的问题,1 楼说的就是基于此种原因造成的问题。另外,还有可能是配置问题,比如消息体大小超过了 Kafka 的限定而导致消息拒收。
|