Асинхронний актор-критик (A3C)
4 лютого 2016 року Володимир Мних і співавтори з Google DeepMind виклали асинхронні варіанти чотирьох алгоритмів навчання з підкріпленням: багато акторів-учнів паралельно працюють на копіях середовища замість навчання з пам'яті повторів. Найкращий, асинхронний актор-критик з перевагою (A3C), за чотири дні навчання на 16 ядрах CPU без GPU досяг у середньому 623,0 % і в медіані 112,6 % людського рівня на 57 іграх Atari проти 121,9 % і 47,5 % у DQN після восьми днів на GPU.
Чому це важливо
Глибоке навчання з підкріпленням перестало потребувати пам'яті повторів для стабільності: паралельні актори самі декорелюють дані, тож методи на поточній політиці на кшталт актора-критика стали придатними для глибоких мереж, а навчання перейшло з GPU на багатоядерний CPU. Синхронну форму, A2C, використала для Atari робота 2017 року про навчання з людських уподобань, і з нею порівнював себе PPO.
Таблиця 1, прочитана з відрендереної сторінки: A3C без рекурентності після одного дня на CPU — 344,1 % у середньому й 68,2 % у медіані, після чотирьох — 496,8 % і 116,6 %; A3C з LSTM після чотирьох днів — 623,0 % і 112,6 %; Gorila за чотири дні на 100 машинах — 215,2 % і 71,3 %; Prioritized DQN за вісім днів на GPU — 463,6 % і 127,6 %. Агентів для порівняння навчали 8–10 днів на Nvidia K40. Стаття також показує автоперегони TORCS, неперервне керування в MuJoCo і нову задачу пошуку винагород у випадкових тривимірних лабіринтах (Labyrinth) за пікселями. Один з восьми авторів, Мехді Мірза, був у MILA Монреальського університету. Чого запис не стверджує: що A3C переміг усіх за медіаною — Prioritized DQN і Dueling Double DQN (117,1 %) там вищі.