这是一个创建于 197 天前的主题，其中的信息可能已经有所发展或是发生改变。
据说 llama3 70b 能接近 gpt4 的效果，有用过的兄弟没？
19 条回复 • 2024-05-22 14:13:54 +08:00
 |
1
nino 197 天前
128G 可以跑起来 70b ，但是还是挺慢的，没有什么实用性，本地还是跑 8b 的合适。追求效果还是买 Groq ，DeepSeek 之类的吧。
|
 |
2
maolon 197 天前 via Android
接近是接近，推理和跟随用户指令上来说还是差点意思，中文能力更差点意思，另外用 groq 就可以了，个人用直接免费那一档不会超限制。
|
 |
3
idblife OP 多谢 #1 #2 ，groq 还是不错的，哈哈
|
 |
4
jimmy 197 天前
MBP M2 Max 64G 跑 Llama3 8B 速度很快，效果么，没对比过不知道具体情况。
|
 |
6
Rorysky 197 天前
16gb 能跑什么模型
|
 |
8
uCVqn130hR86WDU8 197 天前  1
你只是单纯想买台新电脑🤪
|
 |
9
icestraw 197 天前 via Android 1
我用过，得用压缩后的。q8 大概会占用 70G 的内存，只是对话的话可以正常进行。效果只能说能正常对话，想要处理点工作估计够呛。
|
 |
10
winson030 197 天前
好奇个人用户在本地跑这么大的模型需求点是啥？我算了下，70b 这种大模型用 api （加上解决网络问题）花的钱比自己攒机器跑要便宜很多。本地运行 llama3 8b 这种模型倒是很合适。目前我的想法是，找机会把各种大模型平台的 API 都开了（反正都是 pay as you go ），整合到 one api 里，想用哪个用哪个。本地机器跑小模型，保证输出效率
|
 |
11
qweruiop 197 天前
很慢。。。m3 max 128 走过。。。老老实实买 4090 吧。。。
|
 |
13
Chihaya0824 197 天前
q4 64g 的都能跑，大概 8tokens/s ，4090 想跑还得买两个，但是会快特别多
|
 |
14
wclebb 197 天前 via iPhone
|
 |
15
volvo007 197 天前 via iPhone
在等公司的 H800 计算节点下来，可能禁运影响只能买 A800 的，那也行啊，慢归慢点，显存还是 640G ，能玩好多东西
|
 |
16
moudy 197 天前
ipad pro 刚上 m4 ，建议观望一下下个月发布会，看看 mbp 会不会也上 m4
|
 |
19
wsbqdyhm 185 天前
我用 m1max64g 跑的这个，只能说能用吧，有点慢，gpu 占用 70-80%
|
Select Language