Запис атласу: https://www.aitimeline.dev/uk/events/evt-0243/
Дослідження · березень 2022 р.
InstructGPT і навчання на людських оцінках
OpenAI дообучила модель виконувати прохання, навчивши окрему модель винагороди на людських порівняннях відповідей.
Чому це важливо
Модель на 1,3 мільярда параметрів стала кориснішою за модель на 175 мільярдів — узгодження виявилося важливішим за розмір.
Схема має три кроки: дообчення на прикладах бажаної поведінки, навчання моделі винагороди на ранжуваннях відповідей людьми, потім оптимізація політики за цією винагородою. Результат був не про якість мови, а про те, чи робить модель те, чого просять. Через вісім місяців ця сама схема перетворила GPT-3.5 на ChatGPT — і саме вона, а не розмір, зробила модель придатною для широкого вжитку.
Відомості про подію
- Дата події
- березень 2022 р.
- Дата на часовій осі
- Дата події
- Перевірка
- Джерела зібрано автоматично · 17 вересня 2026 р.
- Лінії
- ID
- evt-0243
Препринт від 4 березня 2022 року; доповідь на NeurIPS 2022. Моделі InstructGPT OpenAI оголосила у своєму блозі 27 січня 2022 року.
Пов’язані події
Раніше
- Розвиває GPT-3 2020
Та сама модель, навчена виконувати прохання, а не продовжувати текст.
- Уможливлює Проксимальна оптимізація політики (PPO) 2017посилається на цей запис
InstructGPT v1 оптимізує політику щодо моделі винагороди «алгоритмом PPO (Schulman et al., 2017)», і самі моделі звуться PPO і PPO-ptx.
- Уможливлює Навчання з людських уподобань 2017посилається на цей запис
InstructGPT донавчає GPT-3 навчанням з підкріпленням на людському відгуку з посиланням «RLHF; Christiano et al., 2017»; Крістіано — серед авторів InstructGPT.
- Пов’язано Навчання з підкріпленням: вступ 1998
Дообчення виконують навчанням з підкріпленням за винагородою, отриманою з людських оцінок.
Пізніше
- Уможливлює ChatGPT 2022
Метод, на якому ChatGPT побудовано через вісім місяців.
- Спирається на Constitutional AI: нешкідливість з відгуку ШІ 2022посилається на цей запис
InstructGPT названо серед робіт, де навчання з людського відгуку зазвичай використовує щонайменше десятки тисяч людських міток; ця робота замінює мітки нешкідливості оцінками моделі.
- Пов’язано Alpaca 2023посилається на цей запис
Той самий результат узгодження, отриманий без людських оцінювачів.
- Пов’язано Claude 2023посилається на цей запис
Узгодження побудовано на тій самій лінії навчання за людськими вподобаннями.
- Протиставляє Пряма оптимізація вподобань 2023посилається на цей запис
Той самий результат узгодження без окремої моделі винагороди і без навчання з підкріпленням.
- Протиставляє OpenAI збирає команду superalignment 2023посилається на цей запис
Пост називає навчання з людського відгуку чинною технікою узгодження, яка не масштабуватиметься на системи, розумніші за людей, бо спирається на людський нагляд.
- Пов’язано Керівники superalignment залишають OpenAI 2024посилається на цей запис
Серед досягнень команди Лейке першим називає InstructGPT — першу мовну модель, навчену з людського відгуку.
- Пов’язано o1 і обчислення під час відповіді 2024посилається на цей запис
Підкріплене навчання застосовано не до вподобань оцінювача, а до правильності розв'язку.
- Протиставляє Модель, яка не пише тексту: TypeSafe випускає Jev 2026посилається на цей запис
Засновник TypeSafe брав участь у створенні методу з цього запису; спосіб навчання Jev компанія визначає просто проти нього — каліброване рішення замість людської переваги.