GPQA: питання, які не нагуглиш
20 листопада 2023 року Девід Рейн і співавтори з Нью-Йоркського університету оприлюднили GPQA — 448 питань з вибором відповіді з біології, фізики й хімії, написаних фахівцями. Експерти з профільним PhD відповідали правильно на 65 %, кваліфіковані не-експерти з вебом понад 30 хвилин — на 34 %, найкращий варіант на основі GPT-4 — на 39 %.
Чому це важливо
Набір задумано для досліджень масштабованого нагляду: як людям перевіряти відповіді систем, що знають більше за них. Питання стійкі до пошуку в інтернеті, тож перевіряють знання й міркування, а не вміння знайти відповідь.
Експерти дають 74 %, якщо відкинути помилки, які вони самі визнали згодом. Крім основного набору, автори випустили розширений (546 питань) і найсуворіший «діамантовий» (198), на якому згодом звітували моделі міркування. Питання писали й перевіряли 61 виконавець, найняті через Upwork; автори оцінюють середню оплату близько 95 доларів на годину, а найвищу можливу — 150, і більша її частина — премії за якість.