V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 2456 days ago, the information mentioned may be changed or developed.
求教给位 V 友一个问题： 现在我们将一份数据写入了 ES，现在有需求将数据写一份进入写入到 hdfs，现在有两种方案
- 在处理数据时，同时写入 es 和 hdfs
- 在写入 es 之后，用 scroll 方法将 es 的数据读取写入到 hdfs
哪种方法更好一点？
 |
1
gaozhy Aug 16, 2019
处理数据时，利用 flume 多 sink，分别存 ES 和 HDFS
|
 |
2
kiddingU Aug 16, 2019
楼上正解，flume 多个 sink,或者用 kafka 两个 consumer group 广播，kafafa-connect-es -hdfs
|
 |
3
wsbnd9 Aug 16, 2019
自己写脚本 就选择 1 利用现有的开源组件 就按照 2 楼说的
|
Select Language