可以瑟瑟的，本地部署，要求 12G 内存以下，或者 16G 勉强上，可以本地部署的模型有哪些比较好用的？
 |
1
neosfung 3 天前 via Android  1
比较简单的计算方法，例如 6B 模型，如果用 BF16 的话，乘以 2 ，就是 12GB 运存（显存/内存）。然后还有激活 activation ，就是我们常说的 KV Cache ，也会随着上下文长度增加，具体不太好估计，得看看是 MHA ，GQA 还是 MLA 结构才知道增长倍数
|
|
2
neosfung 3 天前 via Android
好吧，才看到不是语言大模型
|
 |
3
euph 3 天前 via Android 1
z-images
|
 |
4
qindan 3 天前
“可以瑟瑟的”是什么意思，屌大的解释一下
|
 |
6
crackself 3 天前 via Android
难道是 goonsai/qwen2.5-3B-goonsai-nsfw-100k
|
|
7
crackself 3 天前 via Android 1
|
 |
8
tomclancy 2 天前
借楼问一下 gemma3 27b 怎么解开道德限制
|
 |
9
salor 2 天前 via iPhone
小体积的模型瑟瑟也是智障，上下文长了就成复读机了，Grok 才是真神。
|
 |
10
goodryb 2 天前 1
下午刚看到这个，实际没用过 https://mp.weixin.qq.com/s/hqpN4U0YEgOa-QYXNuEBPg
|
 |
11
CraftDeadMRC 1 天前 1
@goodryb qwen-image 是 20b 的，而且文生图的模型计算瓶颈较大，如果 offload 比较多很影响性能。z-image-turbo 相对低要求
|
Select Language