流出的类 GPT 模型 LLaMA 的运行效果

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 1167 days ago, the information mentioned may be changed or developed.

相信大家都已经下载了 LLaMA 的模型来玩了，我今天也玩了一下，效果其实和想象的差很多。

运行环境： GPU: RTX 4090 Weight: LLaMA-7B 在默认 FP16 下运行，会占用 22GB 左右的显存

总结：英文补全勉强能看，但好像还是挺差的，中文补全直接胡言乱语，和 GPT-3 相距甚远，可能还要作为模型基础继续针对训练，对普通用户来说基本没什么可用性，毕竟有一张至少 24G VRAM 的 GPU 就挺难了

5 replies

Wenbobobo

Mar 5, 2023 via Android

托管在抱脸上的 7B demo
https://huggingface.co/spaces/chansung/LLaMA-7B
可以都去试试，确实现在还不太行

yzlnew

Mar 9, 2023 via Android

你跑一个 7B 的怎么可能会行啊？

ByteCat

Mar 9, 2023

@yzlnew 7B 就占用 22G VRAM 了，我感觉很多人连 7B 都跑不起来吧，只能说不太适合个人用了

yzlnew

Mar 9, 2023

@ByteCat GPT-3 级别的大模型推理目前标配需要 8*A100 才有比较合理的延迟。不然只能借助各种 offloading 的优化方案。

18601294989

Apr 12, 2023

13b 啊