V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
This topic created in 413 days ago, the information mentioned may be changed or developed.
领导要求将大模型部署到无 GPU 的机房服务器，模型规模为个位数 B （如 7B ），后续会处理输出过来的信息。 领导明确不要 Ollama ，用啥部署呢？求推荐
 |
1
NoahBishop Mar 22, 2025 via Android
你要不看看 llama.cpp ，自己写个兼容的吧。
|
 |
2
coefu Mar 25, 2025
鸟领导很难伺候啊，就这硬件成本还挑三拣四，能搞出来就不错了。
|
|
3
coefu Mar 25, 2025
老弟你运气不错，刚才我搜了下方案，还真被我找到了。
https://github.com/intel/ipex-llm/blob/main/docs/mddocs/DockerGuides/vllm_cpu_docker_quickstart.md |
 |
4
Daybyedream OP @coefuqin 专业！我前两天沟通过了最后搭了 ollama+dify
|
Select Language