V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
Afar
V2EX  ›  问与答

[请教] 实验室设备日志文件的采集、解析、存储方案

  •  
  •   Afar · Dec 15, 2022 · 1400 views
    This topic created in 1240 days ago, the information mentioned may be changed or developed.

    各位大佬,请教下当前实验室设备日志文件的采集、解析、存储方案,欢迎指教。

    实验室设备的日志文件格式一般都是"txt"、"csv"等,但是格式和内容差别很大,就数据解析层面而言几乎没有可复制性的,想问问各位,这种场景就只能每种类型写代码逐个解析么?有没有通用性的工具或者方案,谢谢。

    初步的想法是在实验室设备的电脑上安装 FTP 同步软件,把指定目录下的日志文件定时同步到一个文件服务器,然后通过定制代码的方式分别解析这些日志文件,再将解析后的数据插入关系数据库,如 MySQL 等。

    谢谢。

    4 replies    2022-12-15 15:03:09 +08:00
    sujin190
        1
    sujin190  
       Dec 15, 2022
    logstash
    cutiechi
        2
    cutiechi  
       Dec 15, 2022
    Fluent Bit
    Afar
        3
    Afar  
    OP
       Dec 15, 2022
    @sujin190 正在了解 ELK ,非常感谢。
    Afar
        4
    Afar  
    OP
       Dec 15, 2022
    @superchijinpeng 谢谢。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5530 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 07:26 · PVG 15:26 · LAX 00:26 · JFK 03:26
    ♥ Do have faith in what you're doing.