想问问大家有没有搭建本地的 LLM，我对应用场景挺困惑的

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

现在大语言模型挺火，我平时用的都是在线的 chatgpt 、deepseek 之类。

最近看到 AMD AIMAX 395 什么的，我在想是否自己组一个，本地搭建一个蒸馏模型。

但除了隐私数据安全相关问题，像我这样普通人，也想不出本地应用场景的优势。

6 条回复 • 2025-12-29 09:34:17 +08:00

donaldturinglee

11 小时 0 分钟前

本地跑小模型玩一玩，学习一下原理，真要在生产环境用肯定是组卡或者买 API 。

crocoBaby

10 小时 51 分钟前 via iPhone

本地部署只玩到推理，但是 ai 含金量高的技术是预训练，所以本地部署使用场景有点鸡肋

vtea

10 小时 19 分钟前

@donaldturinglee 也是，平时使用，我看买会员那种也还行
@crocoBaby 预训练对我来说太难了，我只想过用 llm 来推荐买基金的时间点

xiaket

10 小时 6 分钟前

^用正常模型来给一个程式化的判据, 而不是每次需要依赖不那么可靠的本地模型来预测

volvo007

8 小时 50 分钟前 via iPhone

我们这行有很多测试标准，所以准备给公司搭一个知识库用。但设备是专门的 4 卡 A100 ，还有一台 8 卡 4090 的准备放点别的小玩意。就算推理也是需要一点算力和显存才可用

crocoBaby

7 分钟前

@vtea 那线上免费的对话已经足够你使用了,你需要的只是调教 prompt