这是一个创建于 42 天前的主题，其中的信息可能已经有所发展或是发生改变。
项目中有以下参数，原本打算基于 GPUStack 做一些修改去满足，结果硬件是昆仑芯 P800 的芯片，GPUStack 不支持
4.针对大模型高算力问题，支持多级多卡并行推理，支持后端多版本推理。 5.支持可视化推理模型管理。 6.支持可视化自评估模型资源需求、后端和架构兼容性等部署核心因素。 7.支持动态添加 GPU 节点，单机多卡与多机多卡集群模式可切换。 8.支持多级多卡算力调度调配体系。 9.支持自动混合精度分级调度，对延迟敏感任务（如实时对话）优先分配高算力显卡，而批量推理任务则自动调度低功耗 GPU 。 10.支持手动指定集群中指定机器、算力组、卡、使用百分比等，精确进行算力调配。 11.支持扩展模块自定义后端推理器。
有没有哪位大佬做这一块的，有偿求方案或实现，具体私聊，d2FuZ3dlaTEwMDYx
另外这个芯片很奇怪，有 v 友手里边有线上测试资源么？也欢迎与我联系，谢谢
 |
1
youtube6 1 月 4 日
这个需要一个分布式推理框架来支持多机多卡推理，你们有多少机器多少卡需要投入生产
|
 |
2
weishao666 OP @youtube6 两台机器 16 卡
|
|
3
youtube6 1 月 11 日 via iPhone
Dynamo 框架
|
Select Language