Or13rs 最近的时间轴更新 Or13rs 最近的时间轴更新 |
Or13rsV2EX 第 466031 号会员，加入于 2020-01-20 13:12:04 +08:00 |
Or13rs 最近回复了
140 天前 回复了 lvhuiyang 创建的主题 › 程序员 › 使用 Airflow 管理容器化运行的定时任务有没有什么坑？ |
@kratosmy 我们都没有敢上 K8S 的执行器，怕坑填不上，只是用调度向 K8S 提交计算任务，包括 hive ，spark ，flink 这些类型任务，目前遇到的坑是，K8S 执行任务的可观测性很差，经常出现任务提交和任务执行日志翻半天， 任务一旦故障，告警信息定位和告警触发都是问题
142 天前 回复了 lvhuiyang 创建的主题 › 程序员 › 使用 Airflow 管理容器化运行的定时任务有没有什么坑？ |
我们生产上用了五年了，目前规模到大概是每天一万多个任务，我觉得 airflow 作为比较早的方案，随着规模的扩大，会越来越难维护，很重。
现在遇到的困境大概就是日志和告警，
日志方面，可能因为我们是早期版本，airflow 的日志会占用大量 inode ，
然后是告警，因为 airflow 的核心设计，导致状态转移会因为一些重启、重试、失败难以监控，直接导致通过获取日志监控失败，通过扫 airflow 的 instance 表状态转移也不容易监控，除非提高扫描频率，但是会增加数据库压力，可能 binlog 才是唯一的出了（摊手）
最后看你们使用的重不重，
如果不重，独立一个 celery 服务会是一个很好的方案，
如果要管理方便 perfect 和 dagster 会很好，
另外还有些更轻量级的新奇方案 https://github.com/faust-streaming/mode
现在遇到的困境大概就是日志和告警，
日志方面，可能因为我们是早期版本，airflow 的日志会占用大量 inode ，
然后是告警，因为 airflow 的核心设计，导致状态转移会因为一些重启、重试、失败难以监控，直接导致通过获取日志监控失败，通过扫 airflow 的 instance 表状态转移也不容易监控，除非提高扫描频率，但是会增加数据库压力，可能 binlog 才是唯一的出了（摊手）
最后看你们使用的重不重，
如果不重，独立一个 celery 服务会是一个很好的方案，
如果要管理方便 perfect 和 dagster 会很好，
另外还有些更轻量级的新奇方案 https://github.com/faust-streaming/mode
319 天前 回复了 tinywhale 创建的主题 › 投资 › 预测下跌趋势结束的时间 |
鸡长大了就变成了鹅， 鹅长大了就变成了羊， 羊长大了就变成了牛， 牛长大了就是共产主义了， 就能天天吃饺子，天天吃肉了
2023-09-14 17:55:56 +08:00 回复了 nobject 创建的主题 › 程序员 › 权限控制用 casbin 还是 ladon？ casbin 看的头疼 |
从 casbin 的 0.8.4 开始用，是个 python 库，上生产了
使用场景确实非常广，但是由于太广，对于抽象的要求非常高，在不同的场景，不管是 ACL 还是 RBAC ，带不带 DOMAIN 的问题，会使策略逻辑的复杂度陡然上升。要想用的舒服，对于 casbin 的抽象逻辑如何 match 业务场景，要自己的抽象能力也很强。简单来说就是理解门槛高高的。
在理解它逻辑的基础上，想要简单使用，最好是对一些复杂逻辑阉割，类似在做黑白名单的时候，要么只做黑要么只做白。
O(n^2)的问题其实不是无解，取决是权限主体多，还是权限对象多，比如用户管理资产，如果用户多，资产少，那按照原始逻辑计算会很快，但是如果用户少，资产多，那么影响很大。
新版本不知道啥情况，当时我们处理的时候，搞了点魔法，因为是多主体多对象的场景，所以我们直接在鉴权之前把主体和对象互换了位置，来提升了点效率。
还有些吐槽的点，就算了
使用场景确实非常广，但是由于太广，对于抽象的要求非常高，在不同的场景，不管是 ACL 还是 RBAC ，带不带 DOMAIN 的问题，会使策略逻辑的复杂度陡然上升。要想用的舒服，对于 casbin 的抽象逻辑如何 match 业务场景，要自己的抽象能力也很强。简单来说就是理解门槛高高的。
在理解它逻辑的基础上，想要简单使用，最好是对一些复杂逻辑阉割，类似在做黑白名单的时候，要么只做黑要么只做白。
O(n^2)的问题其实不是无解，取决是权限主体多，还是权限对象多，比如用户管理资产，如果用户多，资产少，那按照原始逻辑计算会很快，但是如果用户少，资产多，那么影响很大。
新版本不知道啥情况，当时我们处理的时候，搞了点魔法，因为是多主体多对象的场景，所以我们直接在鉴权之前把主体和对象互换了位置，来提升了点效率。
还有些吐槽的点，就算了
Select Language