hewumars
12/30/2019 - 7:56 AM

batchsize和learn rate值的选择

噪声越大,batchsize越大,https://github.com/DanyWind/fastai_bs_finder有具体实现。找到噪声收敛值,即为计算时间和效率之间的最佳折衷的batchsize。过小可以通过增加batchsize来减少训练时间和 获得更好的训练和验证损失。超过最合适的batchsize是浪费算力的