Chatbot Arena: оцінка, яку не можна вивчити наперед
3 травня 2023 року LMSYS відкрила майданчик, де відвідувач пише власний запит, дістає дві відповіді від неназваних моделей і голосує за кращу. Перший лідерборд стояв на 4,7 тисячі голосів за тиждень і поставив нагору Vicuna-13B з 1169 очками Elo.
Чому це важливо
Доти будь-яка оцінка діалогової системи трималася на фіксованому наборі, а фіксований набір можна вивчити — навмисно чи через те, що він потрапив у навчальні дані. Запит, якого доти не існувало, вивчити не можна. Порядок моделей уперше пішов від людей, які з ними справді розмовляють, і оновлювався щодня, а не раз на публікацію.
Механіка: анонімні випадкові пари, запит пише сам відвідувач, назви моделей відкриваються після голосу. Рейтинг рахують за шаховою системою Elo, бо вона дає три властивості, потрібні для порівняння парами: масштабується на багато моделей без даних для всіх пар, оцінює нову модель невеликою кількістю спроб і дає однозначний порядок. Перший лідерборд, вікно збору 24 квітня — 1 травня 2023 року, дев'ять відкритих моделей на 4,7 тисячі голосів: Vicuna-13B — 1169, Koala-13B — 1082, OpenAssistant Pythia-12B — 1065, Alpaca-13B — 1008, ChatGLM-6B — 985, FastChat-T5-3B — 951, Dolly-v2-12B — 944, LLaMA-13B — 932, StableLM-tuned-alpha-7B — 858. Допис прямо називає, проти чого це зроблено: HELM і lm-evaluation-harness дають виміри на фіксованих наборах, але не відповідають на питання, яка модель краща в живій розмові. Автори також зазначають, що систему Elo до оцінювання моделей уже брала стаття Anthropic. Що запис не стверджує: у дописі немає моделі Бредлі-Террі — вона з'явилася в пізніших роботах арени. Приналежність авторів до університетів у дописі теж не названа, тож тут її немає. І сам спосіб має свою ціну, названу вже пізніше: він міряє те, що подобається відвідувачам, а не те, що правильно.