爱意满满的作品展示区。
sigoden

AIChat v0.17.0: 自行托管您自己的 AI 游乐场/竞技场,可以使用 OpenAI 格式的 API 访问所有 LLM

  •  
  •   sigoden · May 14, 2024 · 2044 views
    This topic created in 731 days ago, the information mentioned may be changed or developed.

    我刚刚发布了 AIChat v0.17.0,其新增了一个内置 web 服务器,可以使用 OpenAI 格式的 API 访问所有 LLM ,并托管 LLM 游乐场/竞技场 Web 应用。

    内置网络服务器: 轻松启动您内置的 web 服务器:

    $ aichat --serve
    Chat Completions API: http://127.0.0.1:8000/v1/chat/completions
    LLM Playground:       http://127.0.0.1:8000/playground
    LLM ARENA:            http://127.0.0.1:8000/arena
    

    与 OpenAI 兼容的 API: 使用熟悉的 OpenAI API 格式与任何受支持的 LLM 进行交互。

    使用 curl 测试:

    curl -X POST -H "Content-Type: application/json" -d '{
      "model":"claude:claude-3-opus-20240229",
      "messages":[{"role":"user","content":"hello"}],
      "stream":true
    }' http://127.0.0.1:8000/v1/chat/completions
    

    LLM 游乐场: 直接在浏览器中试验不同的 LLM:

    LLM 竞技场: 并排比较不同的 LLM:

    支持 20+AI 平台: OpenAI 、Gemini 、Claude 、Mistral 、Cohere 、Perplexity 、Groq 、Ollama 、Azure 、VertexAI 、VertexAI-Claude 、Bedrock 、Cloudflare 、Replicate 、Ernie 、Qianwen 、Moonshot 、ZhipuAI 、Deepseek 和其他与 OpenAI 兼容的平台。

    项目地址:https://github.com/sigoden/aichat

    2 replies    2024-05-14 11:00:13 +08:00
    xylitolLin
        1
    xylitolLin  
       May 14, 2024
    playground 是吧?你这翻译很 AI
    codsddos
        2
    codsddos  
       May 14, 2024
    和[litellm]( https://github.com/BerriAI/litellm) 相比有什么区别呢
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5664 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 378ms · UTC 07:09 · PVG 15:09 · LAX 00:09 · JFK 03:09
    ♥ Do have faith in what you're doing.