看了下 5060TI 5070TI 5080 都是 16G 显存, 4090 和 5090 又太贵, 计算速度还可以忍受慢一点 , 跑 AI 应该是显存决定能不能跑起来吧, 先跑起来再说的情况下, 买哪个?
This topic created in 389 days ago, the information mentioned may be changed or developed.
 |
1
nxforce Apr 20, 2025  3
取决于你想跑什么模型，再考虑入手什么硬件，而不是先考虑硬件。
|
 |
2
ihainan Apr 20, 2025
你要跑什么规模的模型，愿不愿接受量化。
|
 |
3
usVexMownCzar Apr 20, 2025 via iPhone
便宜的上 2080 魔改
不用显卡就买高配 Mac mini （硬盘 1T 即可，内存拉满）不到两万。可以跑 70b 的模型。 |
 |
5
soleils OP @joyhub2140 #1 作为想入门的新手, 我也不知道
|
 |
6
dji38838c Apr 20, 2025
业余人士没必要学，没必要自己跑
意义何在呢 |
 |
8
fox0001 Apr 20, 2025 via Android
是的，显存是优先考虑的条件。玩过 3090 ，24G 显存，性价比可以。
|
 |
9
renmu Apr 20, 2025 via Android 2
云主机能玩到你腻
|
 |
12
tool2dx Apr 20, 2025 via Android
AI 分两种，聊天和绘图，只有 llm 才对显卡性能没追求，仅仅需要大显存。
绘图需要买 30 系以上的，因为支持很重要的 bf16 浮点格式。20 系是不支持的。 |
 |
13
michaelzxp Apr 20, 2025
4090 48g 吧
|
 |
14
irrigate2554 Apr 20, 2025 1
2080ti 22g 真可以，我日常就跑 32B 模型，Q4_KM 量化
|
 |
15
mumbler Apr 20, 2025
2080 魔改 22G 有什么不好，跑语言模型最优选择，还支持 nvlink ，可以组个 44G 的，不到 1 万
|
|
18
mumbler Apr 20, 2025 1
@nananqujava #17 买两块也远远比 3090 ，4090 便宜，没有更好选择了
|
 |
19
t41372 Apr 21, 2025
可以租云服务器或用 api 入门，或是看你现在有什么用什么。可以从小模型入手，多玩会儿就知道你想跑的模型需要什么样的硬件了。
|
 |
20
rogerer Apr 21, 2025
不如买 m 芯片，显存够大
|
|
21
irrigate2554 Apr 21, 2025
@mumbler 昨天已经跑上了，还有 mistral-small3.1 据说也很强
|
 |
22
Freecult May 8, 2025 1
只是学习 AI ，弄个 NV 卡就行。无所谓内存。因为学习 AI 不等于 “用 LLM 学习 AI”，也不等于“学习 AI 应用”
CNN TRANSFORMER VAE DIFFUSION 之类的想搞明白，用不着大显存。有支持 CUDA 的 12G 就绰绰有余了。6G,8G,10G 无所谓。能跑 CUDA 是必须的 数理统计和机器学习的理论掌握了， 比大显存有用得多 非要和 LLM 较劲，查一下这个： https://www.llamafactory.cn/tools/gpu-memory-estimation.html 决定跑啥模型 如果 4090 觉着贵，只有 2080 22G X2 +NVLINK 44G 跑的模型范围稍微大一些 |
Select Language