感觉能够理解一点儿东西了
4bit 模型内存占用也很香.
本来双卡不一定行,
现在单卡有富裕.
4bit 模型内存占用也很香.
本来双卡不一定行,
现在单卡有富裕.
This topic created in 1182 days ago, the information mentioned may be changed or developed.
 |
1
tool2d Mar 12, 2023 via Android
我也试了一下 4bit 量化模型，效果很差。
|
 |
2
ltkun Mar 12, 2023 via Android
24g 的是什么卡
|
 |
4
kernelpanic Mar 12, 2023
咋跑起来的，我用的 llama.cpp 好像不支持中文。。。
|
 |
5
OLDPAN Mar 13, 2023
测试了下 llama 能不能写代码： https://mp.weixin.qq.com/s/HGxEhDMQoVa1pkz76Qp6Yw
|
Select Language