在工作中，我经常需要回答客户关于某个模型部署所需的显卡数量。但由于不同显卡的显存规格各不相同，大多数人很难记住每种配置，每次回答都需要临时查询。为了解决这个问题，我开发了一个 LLM 推理显存/显卡需求计算器：
它可以快速计算模型推理所需的显存，并估算所需的显卡数量，欢迎试用！
爱意满满的作品展示区。
This topic created in 487 days ago, the information mentioned may be changed or developed.
 |
1
podel Feb 10, 2025
没有 FP4 量化。
DeepSeek 也有 1.55 量化这些数据没有 |
 |
2
111111111111 Feb 10, 2025
计算结果参考意义不大啊
deepseek-r1:32b 实测一个 22G 的显卡就够了，20 token/s ，吃掉 20G 内存 |
 |
3
intermission OP @111111111111 32B 的模型显存 22G 就够吗，参数是用 0.5 个字节存的？
|
 |
4
lovestudykid Feb 11, 2025
实际的量化类型比你提供的选择多得多...还是直接看模型大小好了
|
 |
5
YsHaNg Feb 11, 2025 via iPhone
ollama.com 默认都是 q4 量化另外还有 q4_0 q3_s 等等
|
 |
6
qieqie Feb 11, 2025
建议 Inference 额外显存里加上最大 context length 作为参数。
|
Select Language