这是一个创建于 996 天前的主题，其中的信息可能已经有所发展或是发生改变。
很久没有写代码了，最近为了解决公司日志采集问题，写了个小玩意用来替代公司在用的 filebeat ，实时同步日志到 clickhouse ，目前已经稳定在线上很多服务器跑了 1 周了
造轮子的原因：
- filebeat 在我司日志采集的时候 CPU 占用很高
- 采集日志到 clickhouse 需要 filebeat 和类似 kafka 的工具配合使用，维护成本变高
- 市面上没有其他 log 文件直接采集到 clickhouse 的工具
于是产生了这个项目，项目地址： https://github.com/hisune/log2ck
如果觉得有用，可以来个小星星
特性
- 极简代码
- 高性能（在线上业务中对比 cpu 占用仅为
filebeat的 1/20 ） - 无第三方服务依赖（例如队列等）
- 配置化
- 定制化（自定义正则、行处理回调函数）
- 支持读取按天分割的 log
- 支持断点续传采集
目前尚无回复
Select Language