想配一台电脑本地部署开源的大语言模型如 Llama 、ChatGLM 等,制作推理,不做训练,如果可能的话做一下精调,请问大概需要什么样的机器配置?或者有什么便宜的云 GPU 资源?
1
anonydmer 2023-05-30 10:07:11 +08:00
A100
|
2
poyanhu 2023-05-30 10:10:39 +08:00
弄云 GPU 资源,还不如自己买显卡。
|
3
glfpes 2023-05-30 10:15:41 +08:00
阿里云 pai
|
4
graetdk 2023-05-30 10:17:05 +08:00
看参数量啊,例如 6b 或者 7b ,24- 32G 显存的都可以,如果用了半精度,那显存还可以更低,云 GPU 可以用 V100 ,A30 ,A100
|
5
Volekingsg 2023-05-30 12:29:36 +08:00 1
参数用 fp32 存的话,Model Memory=Model Parameter * 32 / 8 ,比如说 7B 的 LLaMA 就是 4*7 Billion Byte= 28GB
fp16/bp16 减半,int8 再减半 Inference 时,Total Memory ≈ 1.2 * Model Memory ,因此全量 7B LLaMA 需要 40G 的显卡 全量微调的需要的参数量就更多了,> 5 * Model Memory ( AdamW 优化器,另外没算 Activation Memeory ,与 tokens 量有关) 因此想要微调可以看下低参数量微调的工作,像 lora 等 https://github.com/huggingface/peft ,配合 16 精度参数能在 24G 上微调 更具体数字可以参考 https://blog.eleuther.ai/transformer-math/ |
6
jingsam OP @Volekingsg 感谢详尽的回复
|