如果想在 V2EX 获得更好的推广效果,欢迎了解 PRO 会员机制:
https://www.v2ex.com/pro/about

如果你经常使用铜币置顶主题,持有 V2EX Solana Token 会在每日签到时获得额外铜币:
https://www.v2ex.com/solana
wuweivip
V2EX  ›  推广

[分享创造] 自建 New API 内测:把 Qwen3 / Kimi K2.6 / gpt-oss 等开源模型聚合成一个 OpenAI 兼容网关

  •  
  •   wuweivip · 3 days ago · 259 views

    自己搭了个小站,把一批开源大模型自托管后聚合成一个统一网关,对外提供 OpenAI 兼容接口。内测招募中,来聊聊设计和踩坑。

    核心思路

    • 一个 Key 调十几个开源模型,换模型只改 model 字段,不用每个模型单独申请。
    • 推理跑在本地 GPU ,不经第三方中转,隐私可控(大中转站做不到)。
    • 有些社区微调 / 量化模型( ornith 、huihui 、gg20b 系列)硅基流动、OpenRouter 上没有。

    内测福利

    • 注册送 $1 (≈¥7.3 )体验额度
    • 全场 8 折( VIP 价)
    • 限量 50 席

    怎么接

    坦白讲 模型跑在自建显卡上,显存有限,高峰期会排队 / 降速,这正是内测要压测的部分。聚合的是开源模型,能力对标开源阵营,不是闭源旗舰。内测不作 SLA 承诺,别传敏感数据。

    欢迎来喷设计、提模型需求,或报告延迟 / 并发场景。反馈邮箱: [email protected]

    woodchen
        1
    woodchen  
       3 days ago   ❤️ 1
    发推广

    @livid
    woodchen
        2
    woodchen  
       3 days ago
    甚至帖子还是 AI 写的, 模型也大概率是转卖.
    GGGoing
        3
    GGGoing  
       3 days ago
    id: 13 已注册,谢谢老板
    wuweivip
        4
    wuweivip  
    OP
       3 days ago
    @GGGoing 福利已发
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   948 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 19:32 · PVG 03:32 · LAX 12:32 · JFK 15:32
    ♥ Do have faith in what you're doing.