Чотириногий вчиться ходити за годину
DayDreamer застосували алгоритм світової моделі просто до фізичних роботів, без симулятора й без скидань: чотириногий навчився перевертатися зі спини, вставати й ходити з нуля за одну годину.
Чому це важливо
Навчання просто на залізі вважали непрактичним через вартість спроб; година реального часу від порожньої політики до ходьби змінила те, що вважати практичним. Симулятора в цьому колі немає взагалі, тож і розриву, який треба долати, теж немає.
Філіпп Ву, Алехандро Есконтрела, Даніяр Гафнер, Кен Голдберг і Пітер Аббіль узяли алгоритм Dreamer і запустили його на чотирьох різних платформах. Чотириногий навчився перевертатися зі спини, вставати й ходити з нуля за одну годину, без скидань, і ще за десять хвилин пристосувався витримувати збурення. Дві роботизовані руки навчилися брати й класти кілька предметів просто із зображень з камери й розрідженої винагороди. Колісний робот навчився під’їжджати до цілі лише за зображеннями, сам розв’язавши неоднозначність щодо власної орієнтації. На всіх чотирьох платформах використали ті самі гіперпараметри, що й було одним із тверджень роботи.