Метод стохастичної апроксимації
Роббінс і Монро показали, як знаходити корінь функції за зашумленими вимірюваннями, роблячи малі кроки зі спадним розміром.
Чому це важливо
Умови збіжності кроків, виведені тут, лишаються тими самими, за якими сьогодні добирають розклад темпу навчання.
Стаття написана як задача математичної статистики, без згадки про навчання машин. Вона задає вимоги до послідовності кроків: сума розбіжна, сума квадратів збіжна. Саме на цей результат спираються доведення для градієнтного спуску на зашумлених оцінках.