Нерозумна ефективність даних
Троє дослідників Google стверджували: для мови простіша модель на величезних даних б'є витончену модель на малих, тож зусилля варто вкладати в дані.
Чому це важливо
Позицію, що склалася в індустрії емпірично, нарешті сформулювали як принцип — і поле почало вимірювати себе обсягом корпусу.
Назва відсилає до есе Вігнера про нерозумну ефективність математики. Автори наполягають, що мова не має короткого опису на зразок фізичного закону, тому й моделювати її треба даними, а не теорією. Теза виявилася водночас правильною і однобокою: обсяг дав багато, але перехід від n-грам до трансформерів був саме зміною моделі.