Alpaca
Стенфорд донавчив LLaMA на 52 тисячах прикладів, згенерованих самим GPT-3.5, і отримав поведінку, подібну до InstructGPT, за 600 доларів.
Чому це важливо
Узгодження, що коштувало OpenAI роботи сотень оцінювачів, відтворили за вартістю ноутбука — і саме на даних більшої моделі.
Прийом назвали дистиляцією: більша модель породжує навчальні приклади для меншої. Юридично це суперечило умовам використання OpenAI, і питання лишилося відкритим. Практично воно означало, що перевага, куплена дорогим узгодженням, не тримається: її можна перекачати. Стенфорд згодом зняв демонстрацію через питання безпеки й вартості.