MUC-6: розпізнавання іменованих сутностей як окрема задача
6–8 листопада 1995 року в Колумбії (Меріленд) шоста конференція Message Understanding, яку фінансувала DARPA, підбила підсумки оцінки, де вперше окремо міряли розпізнавання іменованих сутностей: імен людей, організацій і місць, дат, сум і відсотків. Найкраща з 20 систем п'ятнадцяти учасників, від SRA, мала F-міру 96,42, а двоє людей-анотаторів між собою — 96,68.
Чому це важливо
Витягування фактів із тексту розклали на менші задачі, які можна міряти окремо й застосовувати незалежно від теми, і перша з них — знайти й класифікувати імена — одразу виявилася розв'язною майже на рівні людини. Відтоді розпізнавання іменованих сутностей існує як окрема задача обробки мови.
Задачі визначила нарада, яку DARPA скликала в грудні 1993 року; пробний прогін відбувся у квітні 1995 року (понад 90 % дістали 2 системи з 9). Навчальна й тестова вибірки — по 100 статей Wall Street Journal; для іменованих сутностей тестом були 30 із них. Розмітка — теги SGML ENAMEX, TIMEX і NUMEX. Половина систем перевищила 90 % F-міри. На тому самому тексті, набраному лише великими літерами, система SRA дала 85 % повноти й 89 % точності, майже на 10 пунктів менше. Крім іменованих сутностей, MUC-6 міряла кореференцію, елементи шаблонів і сценарій зі змінами в керівництві компаній. Чого запис не стверджує. Тест малий і однорідний: 30 фінансових новин, без жодного виразу часу. Рівність із людиною стосується лише цієї вибірки.