多人使用时不需要排队，是否可以支持，要设置什么参数之类的吗
This topic created in 1087 days ago, the information mentioned may be changed or developed.
 |
1
gzlock May 25, 2023
可以试试秋叶启动器里有一个停用 gradio 内置队列的选项
但是禁用队列后我有疑问就是，如果用户 A 在用大模型 A 在出图中，而用户 B 这时候选择大模型 B 出图，那大模型 A 和 B 是不是都需要加载到显存里？那再来一个用户 C 选择大模型 C 呢？ 没有队列后，是不是显存就需要无穷大了？ |
 |
2
lzghades May 25, 2023
不用队列应该不行，多个用户同时画图的话，显存应该不够。
|
 |
3
jifengg May 25, 2023
单机应该不行，本来一个任务就全力跑了，不排队的话大家都慢。
如果 api 有可以获取队列信息话，可以考虑在它前面套一个自己维护的负载，webui 部署多台机器，自己做任务分配。 |
 |
4
hyperzlib May 25, 2023
多进程队列，我现在就是这么做的。不同进程可以加载不同的模型。
|
 |
5
dabingbing Aug 5, 2023
@hyperzlib 你好，你的方案需要魔改吗？
|
|
6
hyperzlib Aug 11, 2023
@dabingbing 不用，启动参数可以指定加载的模型和端口，不同模型开在不同端口上就行了。然后自己写一个调度中间件。
|
Select Language