Дослідження · грудень 2013 р.

DQN грає в Atari

Мережа вчилася грати в сім ігор Atari, отримуючи лише пікселі екрана і рахунок, і перевершила людину в трьох із них.

Чому це важливо

Один алгоритм без жодних правил гри навчився різних задач з нуля — саме це переконало, що навчання з підкріпленням масштабується.

Попередні системи потребували ознак, написаних під кожну гру. DQN отримував те саме, що й людина: зображення і число. Головними технічними прийомами стали буфер відтворення досвіду і окрема цільова мережа, що стабілізували навчання. За півроку після публікації Google придбала DeepMind. Версія 2015 року в Nature покрила сорок дев'ять ігор.

Відомості про подію

Дата події

грудень 2013 р.

Дата на часовій лінії

Дата події

Перевірка

Джерела зібрано автоматично · 17 вересня 2026 р.

Лінії

ID

evt-0224

Препринт від 19 грудня 2013 року; доповідь на семінарі NIPS того ж місяця.

Джерела

першоджерело Playing Atari with Deep Reinforcement Learning
NIPS 2013 deep learning workshop · Опубліковано грудень 2013 р.

Пов’язані події

Спирається на Навчання з підкріпленням: вступ
Алгоритм є Q-навчанням, у якому таблицю замінено згортковою мережею.
Playing Atari with Deep Reinforcement Learning
Спирається на AlexNet в ImageNet
Стан подано пікселями екрана через згорткову мережу.
Playing Atari with Deep Reinforcement Learning
Пов’язано AlphaGo проти Лі Седоля
Та сама лабораторія і та сама лінія привели до AlphaGo через три роки.

Записи, що посилаються на цей

Пов’язано Купівля DeepMind: ціна, якої немає в жодному поданні
Робота, якою лабораторія була відома за сім тижнів до розподілу акцій.
Спирається на Асинхронний актор-критик (A3C)
Асинхронні актори замінюють пам'ять повторів, на якій тримався DQN; таблиця 1 порівнює A3C з DQN на тих самих 57 іграх Atari.
Asynchronous Methods for Deep Reinforcement Learning
Протиставляє MuZero: план без правил гри
DeepMind протиставляє MuZero моделевільним методам на кшталт DQN, які досі давали найкращі результати в Atari.
MuZero: Mastering Go, chess, shogi and Atari without rules (DeepMind blog)