大家好，请教下关于用 Flume+kafka+Spark 实现实时监控错误日志报警的功能。 目前 Flume 和 Kafka 的相关功能已经通了。但是 spark 没什么使用经验。 看网上教程是要自己写 Scala 脚本然后打成 jar 包给 Spark 执行。
我想用 spark 实现检测 kafka 的数据流，如果发现 error 字样，就发送邮件。 请问各位大佬有没有相关脚本或者教程的地址可以参考的？
谢谢大家。
This topic created in 2576 days ago, the information mentioned may be changed or developed.
 |
1
kex0916 Apr 23, 2019  1
|
 |
3
bantao Apr 23, 2019
flume 和 spark streaming 都可以消费 kafka 的消息数据，你的场景不复杂，不需要用 sparkstreaming 了，建议写个 flume 的拦截器比较简单的 https://www.jianshu.com/p/1b083f67aacc。
|
Select Language