对经典神经网络大量重复试验超参是有意义的工作吗？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 1623 days ago, the information mentioned may be changed or developed.

比较好奇，如果算力足够的话，比如从 torchvison 里面选一些什么 resnet34 之类的网络，然后对立面的所有层的超参可能出现的值的选出一些可能的大小，然后排列组合后，全部都训练一遍，选出效果最好的，这种对于普遍性的数据集是有意义的工作吗？还是说只能用来针对单一数据集，换个数据集就不好使了。有人用这种技巧来刷榜吗？

超参

神经网络

resnet34

torchvison

2 replies • 2021-11-19 16:04:27 +08:00

KarenTendo

Nov 19, 2021 via iPhone

应该有一些？但是单独拿出来发论文可能不足，efficientNet 就对 baseline network 的 alpha,beta,gamma 三个缩放常数做了网格搜索

chenzhekl

Nov 19, 2021 via Android

这就是 grid search ，有意义肯定是有意义的，但想获得突破性的提升是不太可能。