深度学习中的不同最优化方式有哪些需要注意的？

A.在实际场景下，应尽量使用ADAM，避免使用SGD；
B.同样的初始学习率情况下，ADAM的收敛速度总是快于SGD方法；
C.相同超参数数量情况下，比起自适应的学习率调整方式，SGD加手动调节通常会取得更好效果；
D.同样的初始学习率情况下，ADAM比SGD容易过拟合。

点击链接了解更多巴鲁夫深度学习中不同的最优化方式