V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
BrightLiao
V2EX  ›  程序员

分享一个指标管理系统设计

  •  
  •   BrightLiao ·
    gmlove · 2023-02-06 09:38:38 +08:00 · 1911 次点击
    这是一个创建于 642 天前的主题,其中的信息可能已经有所发展或是发生改变。

    数据平台常常承载成百上千的指标计算任务,如何管理这些指标,使之便于查询、易于使用?这是另一个挑战。

    常常需要一个指标管理系统来支持这些功能。

    假设现在有一个销售报表的开发需求,报表需要展示不同角度的销售数据,如总销量、月增量、年增量、同比、环比等。为实现这个报表,需要分几步完成:

    • 首先是去查找当前是否已有相关指标实现。如果已有指标实现,就可以考虑是否可以直接使用这个结果
    • 如果我们找到了对应的指标,接下来还需要确认该指标的计算维度是否和我们需要的维度一样
    • 如果没有找到对应指标,则需要去查找相似指标,并找出相似指标的计算口径,以便可以正确的迁移到目标指标的计算上来

    根据这里的分析,指标管理需要支持指标的多维度搜索,并需要提供功能展示指标对应的计算代码。

    同时,指标的数据查询是指标管理的另一重要功能。

    这是基于我们项目上的一些思考: https://brightliao.com/#/NDE2NDdh

    欢迎感兴趣的同学一起讨论!

    8 条回复    2023-03-05 13:46:01 +08:00
    dx3759
        1
    dx3759  
       2023-02-06 10:24:01 +08:00
    你们的指标管理系统,会和数仓层的表结构进行实时同步么
    zifangsky
        2
    zifangsky  
       2023-02-06 10:31:36 +08:00
    感谢分享,有空学习一下
    roding
        3
    roding  
       2023-02-06 10:35:39 +08:00
    最近也在计划搞指标体系,学习一下。
    aw2350
        4
    aw2350  
       2023-02-06 10:56:55 +08:00
    这种系统的重点在哪?数据库性能?业务设计?
    Zakl21
        5
    Zakl21  
       2023-02-06 17:33:28 +08:00
    感觉就是 BI 系统,类似帆软报表?
    BrightLiao
        6
    BrightLiao  
    OP
       2023-03-05 13:40:50 +08:00
    @aw2350 在我看来,重点在于提升开发者或其他指标用户的体验吧。有了它,就不至于在无数的 Excel 文件中查找指标定义,也不需要手写 sql 查数,工作效率有很大的提升。
    BrightLiao
        7
    BrightLiao  
    OP
       2023-03-05 13:41:42 +08:00
    @Zakl21 这个还不一样,BI 报表,主要是可视化。指标开发关注在 ETL 开发阶段,指标管理关注在如何管理开发出来的指标。
    BrightLiao
        8
    BrightLiao  
    OP
       2023-03-05 13:46:01 +08:00
    @dx3759 我们是基于配置文件实现的指标管理。只有表结构的话,我理解无法提供结构化的指标详情。按照你的说法,我们的实现应该算是手动同步。就是说,如果新开发或修改指标(新表加入或表结构改变),需要改变一下配置。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1390 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 17:34 · PVG 01:34 · LAX 09:34 · JFK 12:34
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.