Навчання за часовими різницями

Саттон показав, що передбачення можна виправляти не за кінцевим результатом, а за наступним передбаченням, і довів, що це працює.

Чому це важливо

Агент перестав чекати кінця епізоду: він учиться з кожного кроку, а не з фіналу.

Стаття формалізує сімейство методів TD(λ), де λ керує тим, наскільки далеко назад поширюється виправлення. Саттон доводить збіжність для лінійного випадку і показує, що TD швидший за метод Монте-Карло на задачах із марковською структурою. Це ядро, на якому через чотири роки побудували TD-Gammon, а через тридцять — глибоке навчання з підкріпленням.

Відомості про подію

Дата події

серпень 1988 р.

Дата на часовій осі

Дата події

Перевірка

Джерела зібрано автоматично · 17 вересня 2026 р.

Лінії

Теорія навчання

ID

evt-0157

Випуск Machine Learning, том 3, серпень 1988 року.

Річард Саттон

Джерела

першоджерело Learning to Predict by the Methods of Temporal Differences
Machine Learning · Опубліковано серпень 1988 р.
архівна копія Learning to Predict by the Methods of Temporal Differences (full text)
Richard Sutton · Опубліковано серпень 1988 р.

Пов’язані події

Раніше

Розвиває Актор і критик 1983
Формалізує оцінювальний елемент, описаний у схемі актора і критика.
- Learning to Predict by the Methods of Temporal Differences · Machine Learning
Спирається на Дослідження машинного навчання на грі в шашки 1959
Прямо зводить своє правило до того, що робила програма Семюеля в шашках.
- Learning to Predict by the Methods of Temporal Differences · Machine Learning
Спирається на Динамічне програмування 1957
Метод спирається на розкладання Беллмана для послідовних рішень.
- Learning to Predict by the Methods of Temporal Differences · Machine Learning

Пізніше

Спирається на Q-навчання 1989посилається на цей запис
Метод розвиває ідею навчання за часовими різницями на випадок вибору дій.
- Learning from Delayed Rewards · University of Cambridge
Спирається на TD-Gammon 1992посилається на цей запис
Програма навчається саме методом часових різниць.
- Practical Issues in Temporal Difference Learning · Machine Learning
Розвиває Навчання з підкріпленням: вступ 1998посилається на цей запис
Книга зводить у систему методи, започатковані статтею про часові різниці.
- Reinforcement Learning: An Introduction · MIT Press