爱意满满的作品展示区。
guojam

LLMRelayService:比 NewAPI 更轻量的大模型网关

  •  
  •   guojam · 3h 24m ago · 142 views

    最近频繁在 CodingPlan 、官方渠道间切换,折腾了 NewAPI 。但 NewAPI 的设计更偏向于中转站运营,配置繁琐,对个人自用来说显得过重(往往不需要复杂的注册、邀请、令牌分组等概念)。

    结合自己的实际需求,我写了一个更适合个人自用的网关:LLMRelayService

    核心特性

    1. 格式透传,原生兼容 只做 chat/responses 间的最小化转换,彻底避免因格式二次转换带来的各种模型兼容性问题。

    2. 请求全文记录(全量日志) 完整记录请求的 Full-Text ,非常适合翻阅日志排查问题。例如可以清晰看到 OpenClaw 或 Hermes 请求到底发了什么,揪出那些携带了大量、不必要的上下文。

      日志详情

    3. 渠道与路由分离(智能回退) 显式支持渠道和路由解耦。用户可以灵活定义 Alias(模型别名)以及设置模型自动回退( Fallback )机制,确保服务高可用。

      模型管理 路由配置

    4. 内置轻量控制台 自带可视化面板,用量数据、请求趋势一目了然。

    LRS 监控面板

    项目地址

    🔗 GitHub 仓库:GoJam11/LLMRelayService

    如果这个项目对你有帮助,欢迎帮忙点个 Star 支持一下!

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   889 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 20:10 · PVG 04:10 · LAX 13:10 · JFK 16:10
    ♥ Do have faith in what you're doing.