Актор і критик
Барто, Саттон і Андерсон розділили навчання на два елементи: один обирає дію, другий оцінює, наскільки стан кращий за очікуваний.
Чому це важливо
Навчання з підкріпленням дістало архітектуру, у якій рідкісна винагорода перетворюється на щокрокову підказку.
Задача — утримати стрижень на візку, де сигнал про невдачу приходить лише в момент падіння. Оцінювальний елемент будує власну функцію цінності стану і дає актору оцінку на кожному кроці. Це прямий попередник навчання за часовими різницями, яке Саттон формалізував 1988 року, і схеми актор-критик у сучасних алгоритмах.