V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
nbsn
V2EX  ›  程序员

小公司,想做一个日志分析的程序,带 Web 前端的,求方案推荐

  •  
  •   nbsn · 2021-04-25 00:28:03 +08:00 · 3346 次点击
    这是一个创建于 1307 天前的主题,其中的信息可能已经有所发展或是发生改变。
    请问下各位 V 友,我们小公司目前有个小需求,是对日志文件的按需处理。需求和模块如下。请问下有没有合适解决方案呢?求支招。谢谢!

    日志文件处理:

    需求:
    数据源:第三方程序生成明文的,固定格式的日志,定时以 ftp 方式吐到 ftp 服务器上的文件夹;

    日志处理:
    日志数据文件,按时间段自动打包压缩;

    数据库:
    根据日志数据文件收到的内容,全额写入数据库;
    数据库定时备份;

    Web 前端:
    设定统计条件,读取数据库,生成统计图,表格;
    日志延时处理;

    后端:
    通过 LDAP 连接 AD,定时遍历 AD 用户内容,维护日志映射表,web 前端统计调用;

    审计模块:
    操作日志的记录;

    通知模块:
    设定通知条件,达到条件后自动触发通知;
    大量日志告警通知功能;
    18 条回复    2021-04-26 12:21:13 +08:00
    lhx2008
        1
    lhx2008  
       2021-04-25 00:28:54 +08:00
    数据不多推到云上呗。。省事
    nbsn
        2
    nbsn  
    OP
       2021-04-25 00:31:44 +08:00
    @lhx2008 云上有合适的处理的引擎吗?比如归类,按照大小排序,将结果写入数据库等?
    lhx2008
        3
    lhx2008  
       2021-04-25 00:33:38 +08:00
    @nbsn #2 腾讯云的 CLS 我用过的 OK,可以自己整大盘和图、告警,你要在自己执行查询应该也有接口
    BeautifulSoap
        4
    BeautifulSoap  
       2021-04-25 01:28:28 +08:00 via Android
    不是做成产品,是拿来公司内部用?
    那直接上 ELK 啊,你的需求都能满足
    cominghome
        5
    cominghome  
       2021-04-25 08:58:36 +08:00   ❤️ 1
    Grafana + Elasticsearch 不香吗?
    tianyuan233
        6
    tianyuan233  
       2021-04-25 09:13:00 +08:00
    kibana
    chawuchiren
        7
    chawuchiren  
       2021-04-25 09:25:02 +08:00
    @lhx2008 腾讯云的 CLS,你们怎么处理的分词?
    RRRoger
        8
    RRRoger  
       2021-04-25 09:29:34 +08:00
    elk
    varrily
        9
    varrily  
       2021-04-25 09:30:45 +08:00
    阿里 日志服务
    nbsn
        10
    nbsn  
    OP
       2021-04-25 09:53:26 +08:00
    @BeautifulSoap 谢谢推荐,看来这个不错
    37Y37
        11
    37Y37  
       2021-04-25 10:22:04 +08:00   ❤️ 1
    推荐 ELK,画图这块可以看 Grafana 看能不能满足,不行的话自己写也可以,ES 有 API
    我们实现的一些思路,可以参考 https://blog.ops-coffee.cn/elk
    ychost
        12
    ychost  
       2021-04-25 11:43:43 +08:00
    推荐 ELK + Telegraf + Grafana
    nbsn
        13
    nbsn  
    OP
       2021-04-25 14:40:47 +08:00
    @37Y37 Grafana 做前端,汉化有压力。有部分业务面向客户的。
    pkupyx
        14
    pkupyx  
       2021-04-25 14:55:20 +08:00
    上云,然后买买买
    zzzmh
        15
    zzzmh  
       2021-04-25 15:52:19 +08:00
    @lhx2008 学到了,cls 好像挺好的适合我,我之前是自己用 java 写,各种麻烦还不完美各种小问题,cls 正好适合我的需求,价格也能接受
    nbsn
        16
    nbsn  
    OP
       2021-04-25 23:11:32 +08:00
    @37Y37 请问下可以提供下技术支持吗?有¥
    drinkjs
        17
    drinkjs  
       2021-04-26 09:40:59 +08:00
    前端数据可视化可以看下 Mojito
    shynome
        18
    shynome  
       2021-04-26 12:21:13 +08:00 via Android
    @nbsn 找个人做 grafana 做汉化不行吗?既完成了业务也造福了大家
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2788 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 13:42 · PVG 21:42 · LAX 05:42 · JFK 08:42
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.