V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
爱意满满的作品展示区。
SimonTart

写了一个库,可以即时解析不完整 JSON,在 AI 的场景下好用

  •  
  •   SimonTart · Nov 9, 2023 · 2292 views
    This topic created in 910 days ago, the information mentioned may be changed or developed.
    在实时互动和数据处理的领域,如跟 ChatGPT 类似的 AI 对话模型中,JSON 数据的快速、准确解析尤为关键。今天,我想向大家介绍一个全新的开源工具 —— json fragment parser 。这个轻量级库旨在解决一个特定问题:如何在数据还未完全到达时,就开始解析和使用 JSON 片段。

    🚀 主要特性:

    🛠️ 支持不完整 JSON 的解析:无需等待整个 JSON 数据加载完毕,即可进行解析。
    🖥️ 兼容性强:完美支持 Node.js 环境以及所有现代浏览器。
    ⚡ 提高响应速度:让你的前端应用能够及早渲染数据,显著提升用户体验。
    ✨ 使用 json fragment parser ,你可以确保你的应用更为迅捷地响应用户操作,即便数据正在 "飞速" 传输中。欢迎大家访问 [GitHub 链接] 来了解更多信息,加入我们一起改善现代 web 应用的交互体验!

    ( PS: 内容是 chatgpt 帮忙生成的)

    https://github.com/SimonTart/json-fragment-parser/tree/main
    8 replies    2023-12-06 20:28:16 +08:00
    pjxxcc
        1
    pjxxcc  
       Nov 9, 2023
    功能挺好,不过目前还没遇到过需要提前解析片段 json 的场景。
    倒是 sql 格式化一直没找到好用的支持片段格式化的 Js 库
    xdzhcs
        2
    xdzhcs  
       Nov 10, 2023
    这个好哇
    xdzhcs
        3
    xdzhcs  
       Nov 10, 2023
    还有类似的解析 md 表格也是有差不多的问题
    funnysaltyfish
        4
    funnysaltyfish  
       Dec 4, 2023
    可以很强,让 gpt 生成了个 json ,从最后往前面删除,基本各种情况都能解析出来(除了 null -> n, true -> t 这种,不过看了看 gpt 的分词器下,null true false 都是独立 token ,也不存在这种情况),对于字符串内部的 \" 也能处理,点个 star 先
    SimonTart
        5
    SimonTart  
    OP
       Dec 5, 2023 via iPhone
    @funnysaltyfish 这种应该也是可以解了正确解析的 能发我一下你测试的 case 吗?我看看是不是 bug
    funnysaltyfish
        6
    funnysaltyfish  
       Dec 5, 2023
    @SimonTart 哦,我可能表达的不清楚。我的意思是类似 {"bool": t(rue 及后面的还没生成出来) 这种情况,后来发现 true 是一个完整的 token ,没有这种情况。 {"bool":true 这种是可以的
    SimonTart
        7
    SimonTart  
    OP
       Dec 6, 2023 via iPhone
    @funnysaltyfish 会有这种 json 吗 这种 json 是不合法的吧,会出现 t(rue 这种情况吗?
    funnysaltyfish
        8
    funnysaltyfish  
       Dec 6, 2023
    @SimonTart 不会有这种情况,另外这个括号断句应该是 {"bool": t (rue 及后面的还没生成出来),也就是 true 只生成了个 t ;后来发现 true 是一个完整的 token ,不会从中间断开。
    此外,感谢提供的思路,我转了一份 Kotlin 版本的 https://github.com/FunnySaltyFish/partial-json-parser-kmp 出来,供后来人需要的方便用
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3450 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 38ms · UTC 11:21 · PVG 19:21 · LAX 04:21 · JFK 07:21
    ♥ Do have faith in what you're doing.