Alpaca
Стенфорд донавчив LLaMA на 52 тисячах прикладів, згенерованих самим GPT-3.5, і отримав поведінку, подібну до InstructGPT, за 600 доларів.
Чому це важливо
Узгодження, що коштувало OpenAI роботи сотень оцінювачів, відтворили за вартістю ноутбука — і саме на даних більшої моделі.
Прийом назвали дистиляцією: більша модель породжує навчальні приклади для меншої. Юридично це суперечило умовам використання OpenAI, і питання лишилося відкритим. Практично воно означало, що перевага, куплена дорогим узгодженням, не тримається: її можна перекачати. Стенфорд згодом зняв демонстрацію: його речник назвав вартість хостингу й недостатність фільтрів вмісту, а дослідники визнали галюцинації та ризики безпеки (Gizmodo, 21 березня 2023 року).