如果想在 V2EX 获得更好的推广效果,欢迎了解 PRO 会员机制:
https://www.v2ex.com/pro/about

如果你经常使用铜币置顶主题,持有 V2EX Solana Token 会在每日签到时获得额外铜币:
https://www.v2ex.com/solana
EDDYANNNG
V2EX  ›  推广

我的 AI 模型开源两周后,收到了 V2EX 小伙伴关于模型管理的真实反馈

  •  
  •   EDDYANNNG · 4h 51m ago · 183 views

    我又来了,哈哈哈哈

    ZGI 开源差不多两周了,目前 GitHub 上拿到了差不多有接近 300 个 Star ,Gitee 也已经同步上线了,不知道国内的 ATOMGIT 流量如何目前?有哪位小伙伴可以烦反馈吗?

    这段时间陆续收到了一些反馈,有夸的,也有不少很直接的问题。说实话,后者对我们更有帮助。

    其中有两条反馈,我觉得挺有代表性。

    一位开发者提到:

    现在企业接入不同大模型,通常会使用类似 new-api 的方式,把模型供应商、权限隔离和用量管理统一接进系统。如果这些功能全部自己从头做,确实会很重。

    但如果 ZGI 只提供 Agent Runtime ,那市面上已经有不少 Agent 框架了,功能是否会重叠?

    另一位开发者的看法是:

    企业系统一般都会有独立的供应商和模型配置模块,模型接入、监控和管控统一由模型管理模块负责。执行任务时,可以让用户手动选择模型,也可以设置一个主管模型,根据任务自动调度。

    这两个反馈其实都指向了同一个问题:

    ZGI 到底是一个 Agent 框架,还是一个更完整的企业 AI 应用层?

    我们内部讨论后,答案更偏向后者。

    ZGI 并不是想再做一个只能运行 Agent 的框架,也不是想替代所有现有的 Agent 、RAG 或模型网关项目。

    它更像是把企业实际使用 AI 时经常需要、但又比较分散的几层能力放在一起:

    • 模型供应商和模型配置管理
    • GPT 、Claude 、开源模型及私有模型接入
    • 组织、工作空间和成员权限隔离
    • Token 配额、用量和调用记录
    • 知识库与 RAG
    • 可视化工作流
    • Agent 和 Skills 的创建与运行
    • 运行日志与问题排查
    • 企业私有化部署

    单独看这些功能,市面上基本都能找到对应的工具。

    目前比较希望大家帮我们看几个问题:

    1. 模型接入和供应商配置是否足够顺手?
    2. 权限和工作空间的设计是否符合企业内部使用习惯?
    3. ZGI 与现有 Agent 框架之间的边界是否清楚?
    4. 哪些功能确实有价值,哪些功能显得太重?
    5. 私有化部署过程中还有哪些明显阻碍?
    6. 如果引入主管模型调度,大家更关心能力、成本、速度,还是数据权限?

    为了让更多开发者愿意实际跑一下,我们准备了一些测试 Token 。

    完成部署或实际体验后,可以申请一批测试 Token ;如果提交了可复现、有明确说明的有效 Issue ,也会额外提供一些 Token 。

    这里不要求一定给正面反馈。

    安装失败、文档看不懂、模型接不上、权限逻辑不合理、功能和其他框架重复,这些都可以直接提。对我们来说,这些具体问题比一句“项目不错”更有价值。

    ZGI 目前已经在 GitHub 和 Gitee 上开放,直接搜索「 ZGI 」就能找到。

    如果你也在做多模型接入、企业知识库、Agent 、模型网关或者私有化部署,欢迎在评论区交流。也挺想了解大家目前的做法:

    你们是每个业务应用分别接模型,还是已经做了统一的模型管理层?

    如果要做自动模型调度,你最希望它优先考虑什么?

    TimePPT
        1
    TimePPT  
       4h 48m ago via Android   ❤️ 1
    @Livid 推广
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2907 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 15:02 · PVG 23:02 · LAX 08:02 · JFK 11:02
    ♥ Do have faith in what you're doing.