Дослідження · серпень 1988 р.

Навчання за часовими різницями

Саттон показав, що передбачення можна виправляти не за кінцевим результатом, а за наступним передбаченням, і довів, що це працює.

Чому це важливо

Агент перестав чекати кінця епізоду: він учиться з кожного кроку, а не з фіналу.

Стаття формалізує сімейство методів TD(λ), де λ керує тим, наскільки далеко назад поширюється виправлення. Саттон доводить збіжність для лінійного випадку і показує, що TD швидший за метод Монте-Карло на задачах із марковською структурою. Це ядро, на якому через чотири роки побудували TD-Gammon, а через тридцять — глибоке навчання з підкріпленням.

Відомості про подію

Дата події

серпень 1988 р.

Дата на часовій лінії

Дата події

Перевірка

Джерела зібрано автоматично · 17 вересня 2026 р.

Лінії

Теорія навчання

ID

evt-0157

Випуск Machine Learning, том 3, серпень 1988 року.

Річард Саттон

Джерела

першоджерело Learning to Predict by the Methods of Temporal Differences
Machine Learning · Опубліковано серпень 1988 р.
архівна копія Learning to Predict by the Methods of Temporal Differences (full text)
Richard Sutton · Опубліковано серпень 1988 р.

Пов’язані події

Розвиває Актор і критик
Формалізує оцінювальний елемент, описаний у схемі актора і критика.
Learning to Predict by the Methods of Temporal Differences
Спирається на Дослідження машинного навчання на грі в шашки
Прямо зводить своє правило до того, що робила програма Семюеля в шашках.
Learning to Predict by the Methods of Temporal Differences
Спирається на Динамічне програмування
Метод спирається на розкладання Беллмана для послідовних рішень.
Learning to Predict by the Methods of Temporal Differences

Записи, що посилаються на цей

Спирається на Q-навчання
Метод розвиває ідею навчання за часовими різницями на випадок вибору дій.
Learning from Delayed Rewards
Спирається на TD-Gammon
Програма навчається саме методом часових різниць.
Practical Issues in Temporal Difference Learning
Розвиває Навчання з підкріпленням: вступ
Книга зводить у систему методи, започатковані статтею про часові різниці.
Reinforcement Learning: An Introduction