想实现一个调用 GPU 应用的 API 服务,python 框架及部署方式用哪种性能最高 用过 flask+gunicorn 并发数好像并没有很高
1
cz5424 2021 年 1 月 25 日 via iPhone
Gpu 并发数瓶颈不在显存占用率?测试一下你应用能开多少个进程跑,单个数据请求多少就知道可以支持多少并发了
|
2
vanwtf 2021 年 1 月 25 日
换 fast api 试试?
|
4
rust 2021 年 1 月 25 日
好奇你有多少个 GPU,竟然可以触及 FastAPI 的性能瓶颈
|
5
vanwtf 2021 年 1 月 25 日
FastAPI 没提升的话,你用 Falcon 试下?还不行应该不是框架的问题了吧
|