大家有测过 tfserving cpu 版和 gpu 版的性能差异吗,我测试推断单条耗时基本一样,多条小有提升,并没有想象中的大幅度提升,不清楚是实际就这样还是模型部署有问题
1
dayeye2006199 2021-12-16 08:51:31 +08:00
你这不得描述一下你的应用是啥?模型是啥,数据长啥样么?
|