Tesla V100-DGXS-32GB 这张卡能用来跑 ollama 或者 vllm 不？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 664 days ago, the information mentioned may be changed or developed.

朋友有 4 张退下来的

2 replies • 2024-09-25 16:26:03 +08:00

Kite6

Jul 11, 2024 via Android

大模型很多加速框架其实都不支持 v100 了，比如 flash attention

woscaizi

Sep 25, 2024

算力值是 7 ，不支持 bfloat16