• 请不要在回答技术问题时复制粘贴 AI 生成的内容
leven5
V2EX  ›  程序员

怎么实现让 AI 对百万数据进行本地分析?

  •  
  •   leven5 · 1 day ago · 1868 views

    目前的需求是,获取服务端数据交给 workbuddy ,让 AI 根据我提供的列名自行编写脚本,过滤、汇总出用户想要的数据。

    由于没有参考对象,不知道应该怎么开发,我想的是:

    1. 写一个 MCP 获取数据,然后把数据集保存到 jsonl/xslx 等临时文件中,以 resource link 的形式返回给 AI ,并返回列名、字段类型、数据条数等元信息。
    2. AI 得到路径后,自己写脚本开始处理数据,然后返回给用户。

    但是我文件写到哪里?如果直接往 userdata 写的话,那垃圾文件只会越来越多,而且也不会随着对话的删除一并删掉。

    这种功能一般是怎么实现?只能是服务端分析完,把结果返回给 AI 吗?

    20 replies    2026-09-10 12:05:14 +08:00
    victorc
        1
    victorc  
       23h 56m ago   ❤️ 3
    你直接问 ai 就行了,网友智商更低
    YanSeven
        2
    YanSeven  
       23h 26m ago
    听着有点像是要对离线数据做批处理和离线分析一样的需求,可以把场景和需求描述地更清晰一点,让 ai 往这个方向给给意见建议。主要是,啥数据,要分析啥。
    blackPanda
        3
    blackPanda  
       23h 22m ago
    那必须 duckdb 啊
    kevan
        4
    kevan  
       23h 18m ago
    deepseek harness dataagent
    itfarmer
        5
    itfarmer  
       22h 56m ago   ❤️ 1
    @blackPanda 👍 duckdb 最适合干这个,不要让大模型去处理大数据
    llsquaer
        6
    llsquaer  
       22h 52m ago
    感觉你这个分析的话,应该是分析的逻辑,而不是真正的数据处理。真的几百万数据大模型也吃不消啊
    yjiefl
        7
    yjiefl  
       22h 32m ago via iPhone
    先跟 ai 聊目标和数据情况
    413420
        8
    413420  
       22h 28m ago
    做不到
    swczxf
        9
    swczxf  
       22h 27m ago via iPhone
    让 ai 写个离线分析的数据库,然后把数据插入数据库,再写 sql 分析
    liaanj
        10
    liaanj  
       21h 43m ago
    问我们干嘛问 ai 啊,而且你直接把数据放在那里,ai 会读取的
    iiduce
        11
    iiduce  
       20h 56m ago
    把数据放数据库里,让 ai 操作数据库
    NQ
        12
    NQ  
       20h 21m ago
    写脚本处理的话,把数据都下载下来让 AI 自己抽样就行了,全量 LLM 语义分析估计得几百亿 token 。
    moefishtang
        13
    moefishtang  
       17h 45m ago via iPhone
    @swczxf 有 duckdb 浪费 token 写数据库干嘛…脱裤子放屁…
    Ericcccccccc
        14
    Ericcccccccc  
       17h 23m ago
    问 ai 怎么搞方案
    kuhung
        15
    kuhung  
       17h 14m ago
    换个能力更强的,他们一般会搞个临时路径处理
    a569171010
        16
    a569171010  
       16h 26m ago
    OLAP ,让 AI 写 SQL ,跑完结果给 mcp 。其实就是服务端分析完。
    qweruiop
        17
    qweruiop  
       7h 48m ago
    直接 duckdb
    xsonglive491
        18
    xsonglive491  
       5h 49m ago
    我觉得 1 楼说的对.你应该先写几个不同的小 demo 当作指导
    irvinghua
        19
    irvinghua  
       5h 26m ago
    这不就是智能取数或者说 text2sql 做的事情?
    1.看你描述,都有固定的列名,那说明是结构化数据。既然是结构化数据,取到数据后为啥不存数据库?为啥是写文件? sqlite 或者 MySQL 应付这种量级数据都绰绰有余。
    2.智能取数/text2sql 就是个研究型概念,没有哪家公司说有完整可靠的方案。假设 AI 统计数据有 5%或者 3%的概率出现幻觉,导致汇总的数据就错的,你如何发现并校验改正?
    irvinghua
        20
    irvinghua  
       5h 18m ago
    我的意见是,如果你数据格式是固定的,并且筛选、统计的逻辑也是固定且清晰的,那就 vibe coding 写程序按照固定流程来干完这活。这种情况下别把 ai 掺活进来。

    如果你的数据格式不固定(非结构化),或者处理数据的逻辑也不固定。你此时引入 ai 来自动化处理数据,那你就得接受 ai 总有小概率会给你一个错误的统计数据。这是目前 ai 娘胎里带出来的毛病,此缺点无解。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5300 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 57ms · UTC 09:23 · PVG 17:23 · LAX 02:23 · JFK 05:23
    ♥ Do have faith in what you're doing.