BOXES: балансування жердини

У Machine Intelligence 2 (Единбург, 1968) Дональд Мічі й Роджер Чемберс описали програму BOXES, що вчиться керувати візком із жердиною лише за вектором стану й сигналом провалу. Простір станів розбито на 225 ящиків (5 × 5 × 3 × 3), у кожному «демон» обирає ліворуч чи праворуч за накопиченим «життям» рішень. Алгоритм придумав Мічі, а програмою на Fortran II його 1961 року зробив Дін Вулдрідж-молодший; випробування йшли на симуляції.

Задача. Жорстка жердина на візку, що їде по рейках скінченної довжини; сила двигуна постійна за величиною, знак задає перемикач (керування «bang-bang»). У прогонах, про які йдеться, візок і жердину моделювала окрема частина програми, не апарат; інтервал від відчуття до дії — нуль, від дії до відчуття — 0,05 с. Регулятор нічого не знає про систему: він отримує вектор стану через рівні проміжки часу або сигнал провалу, після чого систему ставлять заново. Устрій. Чотири змінні стану (положення візка, кут жердини, швидкість візка, швидкість зміни кута) квантовано: 5 градацій положення, 5 кута, 3 швидкості, 3 швидкості кута, тобто 5 × 5 × 3 × 3 = 225 ящиків. У кожному ящику «місцевий демон» має перемикач і рахунок: «ліве» й «праве життя» (зважена сума кількості рішень, ухвалених до провалу) і використання; «глобальний демон» дає цільовий рівень («target») за формулою C0 + C1 × merit, де merit — зважений середній термін життя системи. Демон обирає бік із більшою оптимістичною вартістю: середнє зважене реального життя й цілі. Параметри: DK = 0,99, K = 20,0, C0 = 0, C1 = 1; оптимізації не було. Результат (від авторів). Чотири прогони A-D; якість («merit») записували після кожного п'ятдесятого прогону. У прогоні C був відрізок у 1 368 рішень, коли merit дорівнював 146; у прогоні D — понад 72 000 рішень (за автором, година керування в реальному часі), коли merit дорівнював 4 865. Прогони B і C відповідають найкращому й середньому результату ранніх версій без цілі, A краще за всі попередні. Чого запис не стверджує: що BOXES керував фізичним візком (у прочитаних прогонах — симуляція); що метод оптимальний (автори кажуть, що для таких задач оптимальної політики немає); порівняльних чисел Барто, Саттона й Андерсона (сторінки з порівнянням не читано, прочитано вступ і список літератури); результатів гри в хрестики-нулики з тієї ж статті, що стосуються іншої програми. Це самоопис авторів; його підтверджує лише те, що задачу й систему згадано в статті 1983 року, тож впевненість середня.