Together 和 Fireworks.ai
还有一个比较便宜的不过我没试过 https://studio.nebius.ai/playground?models=deepseek-ai%2FDeepSeek-R1

POT: https://pot-app.com/

@sworld233 R1 蒸馏的 Qwen 7B 是拿 Math 版本的，所以一般任务有点一言难尽。14B 和 32B 才是普通的版本蒸馏出来的。

---

楼上说的 Gemma2 9B 就可以，然后还有 GLM4 9B ，Qwen 2.5 7B 也还可以。

R1 确实很猛，带思考的大模型做这种题只会越来越强，毕竟：结果可验证 + R1 指明了强化学习在推理 LLM 上的有效性，这俩一结合就能预估这种算法竞赛未来的 LLM 能打过所有人类就是和 alpha go 打败人类棋手一样自然的事情。

虽说如此，实际应用场景复杂得多，还要在 Agent 、超长记忆、持续学习这几个领域有所进步才行，现在的技术这几个方面是明显薄弱的。很期待未来的发展。

@neteroster #1 CosyVoice 也支持，没记清楚

https://funaudiollm.github.io/cosyvoice2/

https://github.com/RVC-Boss/GPT-SoVITS

https://github.com/fishaudio/fish-speech

其中后两个还支持少样本声音克隆，可以搞点自己喜欢的声音样本做克隆生成

语言感觉挺好的。我来提一个显著的：官方调试器 vsdbg 是专有的，所以如果你用除 vs 和 vscode 等之外的部分编辑器的话（例如 cursor ）就会有调试方面的问题，只能用一些平替调试器

想多了，Q4 都要几百 G 内存

个人简单用用 llama.cpp 就行，要生产环境或者有高并发 / 高性能要求的推荐 sglang ，会比 vllm 快。

建议用 AI Studio ，谷歌 C 端那个产品非常垃圾，加了一堆奇怪提示词，模型效果降的很严重。我觉得 1206 在大部分情况下能打碎 4o 是很显然的，我现在都不觉得这两是一个级别的东西了。

官网的现在完全不值得，因为你根本不知道他什么时候会降智，说不定你就一个月花 20 刀结果一直在用 4o mini ，然后还不告诉你，就这么过去了。

DeepSeek V3 能力还不错的（至少他们尽力做了），但目前来看编程上的综合能力离 Claude 3.5 Sonnet 还有距离。但是后者目前看来官网也不好买会员，因为非常喜欢封号。

总之就这两家官网一个喜欢降智一个喜欢封号，都是很折腾的。我的推荐是日常简单问题用 deepseek 或者白嫖 Google 的 AI Stusio （ 1206 旗舰模型一天 免费 100 次，Flash 1500 次），遇到有实在不行的再配合中转 API 站的 claude 或者 o1 API （前提你得找到保真的），这样下来应该是比较节省经费的。

还有个方案就是开 POE 或者 you.com 会员，对 3.5 sonnet 或者 4o 需求比较大的可以考虑，至少模型都是真的。

先不谈性能，工程上就很强。整个模型训练的 H800 GPU Hour 甚至低于训练两次 LLaMA3 8B 的 H100 GPU Hour ，这还是在 H800 阉割了互联的情况下

Win 端我这里基本没法用，各种问题，莫名其妙连不上网络，崩溃，播放中断等等

@Liftman #28 不，ChatGPT 降智是广泛验证确实存在的刻意行为，不是模型幻觉。无法搜索是因为提供给模型的工具不包含搜索（可以验证），这是降智的表现之一。除此之外还广泛验证了降智和 IP 干净程度强相关，这些都是有大量样本的结果，不是幻觉可以解释的

qwen deepseek glm

OpenAI 的话，温度为 0 输出也不同是预期的，这一点无法避免。指定 seed 会好点，不过也不能保证确定性。

感觉你这个需求提高准确率得上点 RAG 结合 few-shot 或者直接用微调模型，啥都不用模型可能法律这方面知识不够。

Explorer 卡死和设备 / 驱动的关系一般会大些