计算资源只有一个 12g 显存的 2080ti ,需要同时训练 50 个卷积神经网络( 50 个进程),网络结构很简单,两个卷积池化层加两个全连接层,数据集是 cifar10 ,怎样才能充分利用这个 gpu 又不超显存呢
1
ruxuan1306 Dec 28, 2021
少进程大批次,多进程小批次,反正积是常量显存大小。
但多进程可能切换代价高,大批次可能随机下降慢。 |
2
ipwx Dec 28, 2021
这里建议你多买几张卡
|