深度学习优化方式注意事项
A.在实际场景下，应尽量使用ADAM，避免使用SGD；
B.同样的初始学习率情况下，ADAM的收敛速度总是快于SGD方法；
C.相同超参数数量情况下，比起自适应的学习率调整方式，SGD加手动调节通常会取得更好效果；
D.同样的初始学习率情况下，ADAM比SGD容易过拟合。
A.在实际场景下，应尽量使用ADAM，避免使用SGD；
B.同样的初始学习率情况下，ADAM的收敛速度总是快于SGD方法；
C.相同超参数数量情况下，比起自适应的学习率调整方式，SGD加手动调节通常会取得更好效果；
D.同样的初始学习率情况下，ADAM比SGD容易过拟合。