V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
xueling
V2EX  ›  分享创造

推荐一款中小互联网、物联网企业、独立开发者极低成本的数据化运营神器,各类指标,分分钟搞定!

  •  
  •   xueling · 2025 年 12 月 27 日 · 1218 次点击

    推荐一款中小互联网、物联网企业、独立开发者极低成本的数据化运营神器,各类指标,分分钟搞定!

    中小互联网企业、物联网企业、独立开发者想要监控线上业务或设备的运行指标,但苦于没有一个低成本的工具,今天就向大家推荐这一款软件神器:XL-LightHouse 。

    它和市面上 BI 产品有比较大的差异,从技术方案上来说:BI 产品主要是通过 SQL 查询关系数据库、OLAP 等进行聚合运算获取数据指标,但 XL-LightHouse 不同,它是以"流式计算技术"为基础的指标获取工具。

    那流式计算是什么东西呢?其实很容易理解,就是基于实时传入的数据流进行计算的技术,比如线上服务产生的各类日志、设备心跳包等都是典型的实时数据流,xl-lighthouse 就是基于这种实时的、源源不断的数据流进行计算的一款工具。

    这个工具和 BI 产品相比,它有两个突出的优势就是:

    • 1 、接入和计算流程更加简便、灵活,不依赖业务表,这在很多针对线上日志、设备心跳的指标计算场景会非常便利,因为不需要创建数据库、数据表、不需要存储和维护数据就能实时计算出各种指标了。
    • 2 、它聚焦于解决繁杂业务场景下大批量数据指标的并行计算问题,可以用来计算各种各样的细粒度指标。

    比如:app 的启动次数、每天的打开人数、app 启动耗时、某个页面打开次数、某个表单的提交人数、甚至某个按钮的点击次数、某个列表的点击率、某个接口的异常量和耗时情况、某个商品的点击加购次数等等。

    总之就是:只要你有业务需要,XL-LightHouse 可以为你计算大批量的、各种各样的、零零散散的数据指标,这一点和 BI 产品区别比较大。BI 产品的计算逻辑是强依赖于业务表,对数据源要求比较苛刻,要计算某个指标必须要有相应的库表结构,而且字段还得比较工整、规范才可以。

    很多企业买一套 BI 回来,可能发现它只能用分析订单表、商品表,但是如果你想看 app 启动、商品点击、搜藏、加购等相关指标数据就会有很大的局限性。而 xl-lighthouse 却可以遍布整个业务上下游链条,提供更全面的数据指标网络,这对于中小互联网企业、物联网类企业帮助非常大。

    如何部署

    这个项目支持单机版和大数据版,中小企业、独立开发者单机版本就足够了。

    首先安装 docker 环境

    这个网上搜索就行了,一大堆的资料,也可以参考这里: https://dtstep.com/docs/110156/

    安装 xl-lighthouse

    tar zxvf lighthouse-docker-x.x.x.tar.gz
    
    • 进入项目目录,执行部署命令
      cd lighthouse-docker-x.x.x/ #进入工程目录
      cd scripts  #进入脚本目录
      ./deploy.sh #执行部署命令,输入 yes 即可
    

    另外:在 scripts/example 下有一个演示工程,直接启动就可以在 web 端看到系统内置的一个演示工程和演示数据了。

    如何接入

    它提供 http 和 java 版本的 api ,根据自己情况选择,整体使用流程非常非常简单,文档几乎都不用看,就明白怎么回事了。

    主要是几步操作:

    • 创建统计工程、统计组

    这个项目使用"统计工程-统计组-统计项"的三层结构管理所有数据指标,每个统计工程下可包含若干个数据指标,而基于同一份元数据的数据指标叫做一个统计组。 创建操作直接在 web 端就可以完成。

    • 创建统计项

    统计项的创建是按照它内置的格式指定指标的计算逻辑,也非常简单,一看就明白了。

    • 数据接入

    完成了以上创建之后,只要通过 http 或 java 上报原始消息既可以了,然后就能在 web 端查看数据指标的结果。

    App 收款数据监控

    下面通过一个小例子介绍它的整体使用。

    比如我们 app 内有用户充值的操作,现在要计算 app 充值相关指标。

    有这样几个需求:

    + 每 10 分钟 app 充值次数、充值人数、总充值金额
    + 每小时 app 充值次数、充值人数、总充值金额
    + 每天 app 充值次数、充值人数、总充值金额
    + 每天 app 内各充值渠道的充值次数、充值人数、总充值金额
    + 每天充值金额大于 100 元的充值次数和充值人数
    
    • 创建统计工程 XL-LightHouse

    • 创建统计组(也就是一个类似于表结构的配置信息) XL-LightHouse

    • 创建统计项

    每个指标对应一个统计项,创建统计项遵循系统内置的 xl-formula 的配置格式。

    XL-LightHouse XL-LightHouse

    • 然后通过 java 或 Http 进行数据接入就可以了
    public class Test {
    
        public static void main(String[] args) throws Exception{
            LightHouse.init("10.206.6.27:4061");
            long t = System.currentTimeMillis();
            for(int i = 0;i<6032;i++){
                //修改统计组参数值、Token 和秘钥
                HashMap<String,Object> paramMap = new HashMap<>();
                paramMap.put("user_id", RandomID.id(6));
                paramMap.put("channel", RandomID.id(2));
                Double d = ThreadLocalRandom.current().nextDouble(1000);
                paramMap.put("amount",String.format("%.3f", d));//防止上面随机数出现科学计数法
                System.out.println("send message:" + JsonUtil.toJSONString(paramMap));
                LightHouse.stat("Dc7:recharge_stat","dpDLFgP20zTvKqWddqOgm9ktjQDvzDE9GSVZZtIn",paramMap,t);
            }
            System.out.println("send ok.");
        }
    }
    
    • 页面查看数据指标 XL-LightHouse
    1 条回复    2025-12-29 10:14:52 +08:00
    andye
        1
    andye  
       2025 年 12 月 29 日
    666,支持
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   3086 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 429ms · UTC 13:09 · PVG 21:09 · LAX 05:09 · JFK 08:09
    ♥ Do have faith in what you're doing.