PyTorch DistributedDataParallel 多卡训练结果变差

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 1182 days ago, the information mentioned may be changed or developed.

本想使用多卡训练，训练结果应该会更加好，但是我发现使用三张 3090 训练，网络模型不收敛，这是因为学习率的原因吗？

训练

pytorch

收敛

结果

11 replies • 2023-03-12 22:21:38 +08:00

Ricardoo

Jan 31, 2023

正常。
使用多卡后一般需要调小学习率，也有可能不需要调，比较玄学。

clemente0620

Jan 31, 2023

按卡倍数降低学习率

leimao

Jan 31, 2023 via iPad

DDP 本质就是增加了 Batch Size 。Batch Size 变了，模型可能需要就 Training Recipe 进行微调。

hsfzxjy

Feb 1, 2023 via Android

调学习率，以及注意 BN

yiyi1010

Feb 1, 2023

对 DDP 增加了 batch size ，不是应该按照卡倍数增加学习率吗？

yiyi1010

Feb 1, 2023

@Ricardoo 这那还能调吗

yiyi1010

Feb 1, 2023

@hsfzxjy 请问 BN 是有什么影响吗

hsfzxjy

Feb 1, 2023 via Android

@yiyi1010 BN 要换成 SyncBatchNorm ，不然统计量不同步

yiyi1010

Feb 1, 2023

@hsfzxjy 有道理。谢谢你，我去试试

yiyi1010

Feb 1, 2023

看一般是需要线性提升 leanring rate

yiyi1010

Mar 12, 2023

@hsfzxjy 你说 layernorm ，而不是 BN ，也要替换成 Syn 的版本是吗