 |
|
JerryMouse
V2EX member #247841, joined on 2017-08-10 11:06:39 +08:00
|
JerryMouse's recent replies
对于将现有的 HBase 数据导出到 Elasticsearch ( ES )并进行增量同步的问题,有一些主流的方案可供考虑。
1. **HBase MapReduce 导出到 Elasticsearch:**
- 利用 HBase 的 MapReduce 作业将数据导出到中间格式(如 JSON 或 Avro )。
- 将导出的数据通过 Elasticsearch 的 Bulk API 加载到 ES 中。
- 对于增量同步,可以定期运行这个作业,只导出最近更新的数据。
2. **使用 Apache Nifi 或 Kafka Connect:**
- Apache Nifi 或 Kafka Connect 可以用作数据流处理工具,从 HBase 抓取数据并将其发送到 Elasticsearch 。
- 配置定期拉取并同步,以处理增量数据更新。
3. **使用 Logstash:**
- Logstash 是一个数据处理工具,可以从 HBase 读取数据,并将其发送到 Elasticsearch 。
- 通过配置 Logstash 管道,可以实现定期的全量或增量同步。
4. **HBase Coprocessor:**
- 利用 HBase 的 Coprocessor 功能,可以在 HBase 数据更新时触发事件,并将相应的数据同步到 Elasticsearch 。
- 这需要编写自定义的 Coprocessor 来处理数据变更事件。
选择方案时需要考虑数据一致性、性能、可靠性和实现难度。根据具体需求和技术栈,选择适合项目的方案。
——
以上来自把你问题复制到 gpt3 后他给的回复
“如果是你,你会怎么做这个抉择?”
如果只这么问的话,这里大家的回复没法给你坐参考,因为只有你自己知道自己有多想出国以及你自己有多爱她,其他人说的都是自己对于自己想出国的感受和对爱人的感受。
手持 kpw3 ,横屏+koreader 看 pdf ,还能再战 5 年…
我感觉现在大部分地方想去玩都是这样,你想去网上找到好玩的好吃的地方,结果一堆的照骗、软文,完全不知道怎么找到值得去的地方。或者说去的地方值得的地点单一,跑老远可能就一个亮眼的点。