Запис атласу: https://www.aitimeline.dev/uk/events/evt-0143/
Дослідження · 1983
Актор і критик
Барто, Саттон і Андерсон розділили навчання на два елементи: один обирає дію, другий оцінює, наскільки стан кращий за очікуваний.
Чому це важливо
Навчання з підкріпленням дістало архітектуру, у якій рідкісна винагорода перетворюється на щокрокову підказку.
Задача — утримати стрижень на візку, де сигнал про невдачу приходить лише в момент падіння. Оцінювальний елемент будує власну функцію цінності стану і дає актору оцінку на кожному кроці. Це прямий попередник навчання за часовими різницями, яке Саттон формалізував 1988 року, і схеми актор-критик у сучасних алгоритмах.
Відомості про подію
- Дата події
- 1983
- Дата на часовій осі
- Дата події
- Перевірка
- Джерела зібрано автоматично · 17 вересня 2026 р.
- Лінії
- ID
- evt-0143
Випуск IEEE Transactions on Systems, Man, and Cybernetics, том SMC-13, 1983 рік.
Пов’язані події
Раніше
- Уможливлює BOXES: балансування жердини 1968посилається на цей запис
Барто, Саттон і Андерсон 1983 року беруть задачу балансування жердини, «posed by Michie and Chambers to illustrate their boxes algorithm», і порівнюють свою систему з BOXES; статтю Мічі й Чемберса названо в списку літератури.
- Спирається на Дослідження машинного навчання на грі в шашки 1959
Оновлення оцінки за різницею між послідовними станами походить від програми Семюеля.
- Спирається на Динамічне програмування 1957
Оцінювальний елемент реалізує розкладання Беллмана для послідовних рішень.
Пізніше