Оптимізатор Adam
Кінгма і Ба описали метод, що підбирає темп навчання для кожного параметра окремо за оцінками першого і другого моментів градієнта.
Чому це важливо
Налаштування навчання перестало бути ремеслом: Adam працював прийнятно майже скрізь без підбору параметрів.
До Adam вибір темпу навчання був однією з головних причин, чому мережа не навчалася, і вимагав досвіду. Adam адаптує крок для кожної ваги і виправляє зміщення оцінок на початку навчання. Метод не найкращий у кожному окремому випадку, але надійний за замовчуванням. Це одна з найцитованіших статей в історії машинного навчання саме через практичність.