HELM: тридцять моделей, ті самі сорок два сценарії
16 листопада 2022 року Стенфордський центр досліджень базових моделей прогнав тридцять моделей від дванадцяти організацій через сорок два сценарії, міряючи сім речей замість однієї. До того моделі в середньому оцінювали лише на 17,9 % цих сценаріїв; після прогону — на 96,0 %.
Чому це важливо
Доти порівняння двох моделей означало порівняння двох звітів, складених різними людьми на різних наборах, і деякі відомі моделі не мали жодного спільного сценарію. Один прогін у контрольованих умовах зробив порівняння можливим — і показав числом, наскільки його не було.
Сім вимірів названо поіменно: точність, калібрування, робастність, справедливість, упередженість, токсичність і ефективність. Їх міряють для кожного з шістнадцяти основних сценаріїв, де це можливо, — вийшло у 87,5 % випадків. Плюс сім цільових оцінювань на двадцяти шести окремих сценаріях: міркування, дезінформація й таке інше. Разом сорок два сценарії, з яких двадцять один доти в основному оцінюванні моделей не використовували. Число, заради якого цей запис стоїть: перед HELM моделі в середньому було оцінено на 17,9 % основних сценаріїв, і деякі відомі моделі не мали між собою жодного спільного. Після прогону — 96,0 %, тобто всі тридцять моделей щільно проміряно на тих самих сценаріях за однакових умов. Автори окремо називають те, чого в їхньому доборі бракує: серед іншого — відповіді на питання для занедбаних діалектів англійської й метрики довіри. Опубліковано двадцять п'ять висновків верхнього рівня, а також усі сирі підказки й відповіді моделей — щоб чужий висновок можна було перевірити на тих самих даних. Запис не стверджує, що HELM зробив вибіркове звітування неможливим; він зробив його видимим, бо поряд лягло те, що звітували раніше.