这是一个创建于 1084 天前的主题，其中的信息可能已经有所发展或是发生改变。
* 数据流向：数据上报 API ===> goroutine 写入 buffer (channel) ===> goroutine 后台循环从 buffer 中读取 batchsize 个消息 ===> kafka writer 将获取到的消息写入 kafka
* 目前看到，从 buffer 中读取到的消息都是完整的，但是从 kafka 消费出来的消息很多都被截断了，差不多 30%多
* 每个 topic n 个 partition ，1 个 group ，n 个消费者
* 每条消息的长度从 2k 到 10k 不等，也有更长的，但 90%多在 2k 到 10k 之间
* 被截断的消息：截断为 n 段（ n 不确定），比较大的一部分基本都处于 4000 到 8000 个字节之间，小的部分可能就几个字节
**详细信息如上**
**各位，帮忙看下是什么原因导致的，先谢过🙏**
* 目前看到，从 buffer 中读取到的消息都是完整的，但是从 kafka 消费出来的消息很多都被截断了，差不多 30%多
* 每个 topic n 个 partition ，1 个 group ，n 个消费者
* 每条消息的长度从 2k 到 10k 不等，也有更长的，但 90%多在 2k 到 10k 之间
* 被截断的消息：截断为 n 段（ n 不确定），比较大的一部分基本都处于 4000 到 8000 个字节之间，小的部分可能就几个字节
**详细信息如上**
**各位，帮忙看下是什么原因导致的，先谢过🙏**
 |
1
liprais 2021-12-09 10:15:03 +08:00 via iPhone
你看看 writer 什么时候发消息就知道了
|
Select Language