V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
Sonwi
V2EX  ›  问与答

在一个 gpu 中同时训练 50 个卷积神经网络求助

  •  
  •   Sonwi · Dec 28, 2021 · 1673 views
    This topic created in 1583 days ago, the information mentioned may be changed or developed.

    计算资源只有一个 12g 显存的 2080ti ,需要同时训练 50 个卷积神经网络( 50 个进程),网络结构很简单,两个卷积池化层加两个全连接层,数据集是 cifar10 ,怎样才能充分利用这个 gpu 又不超显存呢

    2 replies    2021-12-28 22:47:39 +08:00
    ruxuan1306
        1
    ruxuan1306  
       Dec 28, 2021
    少进程大批次,多进程小批次,反正积是常量显存大小。

    但多进程可能切换代价高,大批次可能随机下降慢。
    ipwx
        2
    ipwx  
       Dec 28, 2021
    这里建议你多买几张卡
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1361 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 23:54 · PVG 07:54 · LAX 16:54 · JFK 19:54
    ♥ Do have faith in what you're doing.