推理速度快了 2 倍，API 价格降了一倍。MMLU 分数更高，图像识别也更好。现在还没有开放语音和视频的接口，等开放了再来测试。

GPT-4o 已经可以用了，你可以通过 openAI 的 playgroud 试用。也可以用我的开源项目，在本地试用它（需要有 OpenAI 的 API Key ）。

不过现在 OpenAI 还没有开放更多的接口，还无法传送语音或视频给它。

我的项目地址是：
https://github.com/smalltong02/keras-llm-robot

langchain 是一套简化大语言模型加载推理的框架，而且还提供 Agent 和各种工具的集成，它本身并不需要什么硬件配置。真正吃硬件的还是你想加载的模型，鉴于一般办公台式机的 GPU 都没有或者很差，那建议你只能玩玩 gguf 的量化模型了。

@sabernwj 好的，感谢支持！

@pming1

好的，感谢支持！

@james2012

多谢指正，等 Sora 或者 Vidu 可以使用了就配真正的视频。

在 windows 平台下可以，前提是内存够大，不怕推理慢。

@kenshinhu

看起来是 Linux 机器，你可以部署 8bit 的量化模型，16GB 的显存够用了。

@secondwtq

经过测试 Llama-3 和 Phi-3 都能够和 Function Calling 和代码解释器一起使用。其实 Function Calling 对模型的能力要求要低一些，代码解释器要求模型的能力要高一些。对于 Function Calling ，大部分模型在几轮对话之后都会失去调用 Function 的能力，只有 GPT-4 模型在这块做的是最好的。

@kenshinhu

7B 模型如果不进行量化，仅仅使用 16G 的显存加载模型并推理不太够用，尤其是 Linux 系统，必须要保证显存足够。如果是 windows 系统，是会向内存借用一部分保证不会报内存不足错误，但也会导致推理降速。建议 7B 模型使用 3090 或者 4090 显卡进行测试。

@euph

目前还没有测试过呢。

@lanlanye

量化模型最主要的问题就是精度会有一些损失，有点类似于有损压缩。两个数据很近的话，比如第一个是 0.2385637 ，第二个是 0.2385644 ，那么量化之后很可以这两个值都落在同一个 int 值上面，这就会造成精度损失。量化模型偶尔会有输出乱或者不停止，通常就是这种问题造成的。

@SylarQAQ

我的这个项目偏向于对热门模型进行各种任务测试并可进行横向比较用的，更倾向于摸清模型在各种任务中的实际表现。

比如你在使用其它开源项目的时候可能会有这样的烦恼。比如 text-generation-webui 项目，它可以适配大部分的离线模型，但不支持在线模型。LM Studio 项目，它可以使用 CPU 跑任何模型，但它仅支持 GGUF 格式模型。ComfyUI 对图像模型的支持生成非常专业，但它仅此而已。Open Interpreter 项目可以让你在本地运行代码解释器，但它仅仅支持 GPT-4 等在线模型，离线模型需要接入其它开源项目。

当你想对不同的模型（包括在线模型和各种离线模型）在相同环境下测试 RAG 任务，接入代码解释器，使用 Function Calling ，搜索引擎，或者接入 TTS ，生成图像的时候，你发现你需要使用一个或者多个开源项目互相配合才能达到目的，并且很可能多个开源项目还无法同时接入。当你想比较离线模型和 GPT-4 ，Gemini 这种闭源在线模型在搭配相同工具在各种任务中表现差异的时候，你会发现很难或者可能根本就做不到。

我的这个开源项目就是针对这类问题才做的，它可以加载各种在线模型，也支持各种热门的离线模型（包括量化模型）。
并且提供了相同的工具，包括
1. 接入搜索引擎
2. Function Calling
3. 角色扮演
4. 代码解释器
5. 接入 TTS （语音输入和输出）
6. 接入图像识别模型
7. 接入图像生成模型

举例说明：
这是一个早期的例子，将图像模型接入 llama-2-7b-chat 模型，让它也可以想多模态模型那样，拥有从图像生成另一幅图像的能力：

https://youtu.be/crQ5mJSJzrg
https://youtu.be/30yoa3lCnB8

@fredweili 是的，而且这次 MS 的 Phi-3 也不错，3B 的模型也都可以完成这些任务，只不过成功率低一些。

不错，不过我想做一个可以离线生成漫画的 AI 工具，语言模型和图像生成模型可以自由选择。

那是因为 ollama 加载的是 gguf 的量化模型。

我的开源项目已经支持 gemma ，并且提供了 Webui 。整体测试下来效果一般，没有经过微调的话很多任务无法完成测试，并且也拥有小模型的通病，输出 token 停不下来。并且 gemma 7b 输出是乱码，我试过 LM Studio ，也是这个情况，所以感觉像是模型的问题。

https://github.com/smalltong02/keras-llm-robot

我这个项目支持 safetensors 的模型，如果你想使用 gguf 的模型，可以使用 LM Studio 最新版。