想部署一个 deepseek-v4-flash 或差不多相同级别的模型，目前在看的配置包括：
8xA100(只能部署量化版本)一体机，
8xH20,8xH200 云租赁 GPU 服务器；
有部署过的群友吗？效果怎么样？或者有没有其他的配置参考？
8xA100(只能部署量化版本)一体机，
8xH20,8xH200 云租赁 GPU 服务器；
有部署过的群友吗？效果怎么样？或者有没有其他的配置参考？
 |
emmo1 day ago
1
小型公司私有化部署的意义在哪？
大型公司有搞头，小公司折腾这个干嘛？ 买 gpu 当投资啊？ |
 |
2
肯定是 RTX Pro 6000 啊，Blackwell 架构能跑 NVFP4 ，H20 的 Hopper 架构在 LLM 领域是路边一条，又贵又慢。
4 卡 RTX Pro 6000 的镜像配置和速度 https://github.com/local-inference-lab/rtx6kpro/blob/master/models/deepseek-v4.1-flash.md |
 |
3
@emmo 做一些本地文档解析，流程前置审批工作
|
|
4
@slowgen 我去了解一下
|
 |
banzige3h 4m ago
5
这种需求私有化部署不划算吧
|
 |
simazilinVV1h 47m ago
6
strata
|
Select Language