DQN грає в Atari

Мережа вчилася грати в сім ігор Atari, отримуючи лише пікселі екрана і рахунок, і перевершила людину в трьох із них.

Чому це важливо

Один алгоритм без жодних правил гри навчився різних задач з нуля — саме це переконало, що навчання з підкріпленням масштабується.

Попередні системи потребували ознак, написаних під кожну гру. DQN отримував те саме, що й людина: зображення і число. Головним технічним прийомом препринту був буфер відтворення досвіду; окрема цільова мережа, що стабілізує навчання, з'явилася лише у версії Nature 2015 року (у препринті цілі обчислює та сама мережа, Алгоритм 1). За півроку після публікації Google придбала DeepMind. Версія 2015 року в Nature покрила сорок дев'ять ігор.

Відомості про подію

Дата події

грудень 2013 р.

Дата на часовій осі

Дата події

Перевірка

Джерела зібрано автоматично · 17 вересня 2026 р.

Лінії

ID

evt-0224

Препринт від 19 грудня 2013 року; доповідь на семінарі NIPS того ж місяця.

Джерела

першоджерело Playing Atari with Deep Reinforcement Learning
NIPS 2013 deep learning workshop · Опубліковано грудень 2013 р.
першоджерело Human-level control through deep reinforcement learning (Mnih et al.), Nature 518, 529-533 (2015)
Nature (Springer Nature) · Опубліковано 25 лютого 2015 р.

Пов’язані події

Раніше

Спирається на AlexNet в ImageNet 2012
Стан подано пікселями екрана через згорткову мережу.
- Playing Atari with Deep Reinforcement Learning · NIPS 2013 deep learning workshop
Спирається на Навчання з підкріпленням: вступ 1998
Алгоритм є Q-навчанням, у якому таблицю замінено згортковою мережею.
- Playing Atari with Deep Reinforcement Learning · NIPS 2013 deep learning workshop

Пізніше

Пов’язано Купівля DeepMind: ціна, якої немає в жодному поданні 2014посилається на цей запис
Робота, якою лабораторія була відома за сім тижнів до розподілу акцій.
Спирається на Асинхронний актор-критик (A3C) 2016посилається на цей запис
Асинхронні актори замінюють пам'ять повторів, на якій тримався DQN; таблиця 1 порівнює A3C з DQN на тих самих 57 іграх Atari.
- Asynchronous Methods for Deep Reinforcement Learning · arXiv
Пов’язано AlphaGo проти Лі Седоля 2016
Та сама лабораторія і та сама лінія привели до AlphaGo через три роки.
Протиставляє MuZero: план без правил гри 2019посилається на цей запис
DeepMind протиставляє MuZero моделевільним методам на кшталт DQN, які досі давали найкращі результати в Atari.
- MuZero: Mastering Go, chess, shogi and Atari without rules (DeepMind blog) · Google DeepMind