这是一个创建于 913 天前的主题，其中的信息可能已经有所发展或是发生改变。
https://i.imgur.com/11yO3cr
工作中遇到以下情况：
1.有些安全设备可以提供 API 接口，例如可以读取到当前中毒的用户 ID ；另外一些设备仅能提供 syslog 日志，需要从日志中过滤出有问题的 IP 。
2.内部已有 ETL 工具可以将 API 获取到的用户 ID 或者 syslog 日志进行数据处理。
存在的问题：
3.ETL 工具无法通过 API 将处理后的数据提交到右侧的系统中，例如将 1 中过滤出的 ID 通过认证系统的 API 提交将用户在认证系统中禁用。
4.ETL 工具无法执行网络设备的命令或者 shell 脚本对有问题的 IP 添加到黑名单中。
疑问：
5.对 ETL 不了解，可能 ETL 本身就不是处理此类问题的，那应该用什么方式处理？
6.是不是中间这个环节就不应该使用 ETL ，或者 ETL 之后还应当有个平台拿到 ETL 输出的数据然后调用 API 或执行一些编辑好的命令？
请问是否有一个通用的平台能处理此类问题？还是只能写脚本“定制化”处理每个问题？
工作中遇到以下情况：
1.有些安全设备可以提供 API 接口，例如可以读取到当前中毒的用户 ID ；另外一些设备仅能提供 syslog 日志，需要从日志中过滤出有问题的 IP 。
2.内部已有 ETL 工具可以将 API 获取到的用户 ID 或者 syslog 日志进行数据处理。
存在的问题：
3.ETL 工具无法通过 API 将处理后的数据提交到右侧的系统中，例如将 1 中过滤出的 ID 通过认证系统的 API 提交将用户在认证系统中禁用。
4.ETL 工具无法执行网络设备的命令或者 shell 脚本对有问题的 IP 添加到黑名单中。
疑问：
5.对 ETL 不了解，可能 ETL 本身就不是处理此类问题的，那应该用什么方式处理？
6.是不是中间这个环节就不应该使用 ETL ，或者 ETL 之后还应当有个平台拿到 ETL 输出的数据然后调用 API 或执行一些编辑好的命令？
请问是否有一个通用的平台能处理此类问题？还是只能写脚本“定制化”处理每个问题？
第 1 条附言 · 2022-06-05 11:09:49 +08:00
 |
1
liprais 2022-06-05 00:27:23 +08:00
这跟 etl 有啥关系
数据整合好了谁要用谁自己来拿呗 或者谁要用谁自己提供个 consume 的方法呗 |
 |
2
FYFX 2022-06-05 10:31:47 +08:00
ETL 只做数据处理啊，如果需要消费的话就让 ETL 把最终结果保存在 MySQL/Redis 之类的存储引擎就好，然后看情况是直连存储引擎还是通过平台配置接口（理论上只提供数据查询接口），然后业务逻辑是调用方自己做的，不过至于平台这个得看你所在的公司了，我之前在美团的时候是都有的
|
 |
3
iian OP |
 |
4
dayeye2006199 2022-06-05 13:28:55 +08:00
你说的是 reverse etl ，其实没有特别好的开源工具。考虑商业的话可以考虑 hightouch ，配合自定义 webhook 使用。
https://hightouch.io/docs/destinations/webhook/ |
|
5
iian OP @dayeye2006199 看了下介绍，reverse etl 应该就是我需要的东西，我再查查相关资料。感谢。
|
Select Language