CoNLL-2000: одинадцять систем на одному розбитті
13–14 вересня 2000 року в Лісабоні одинадцять дослідницьких систем розібрали той самий текст на групи слів, на тих самих 211 727 навчальних і 47 377 тестових токенах, і порахувалися одним спільним скриптом. Найкраща дала F 93,48 проти 77,07 у простої базової лінії.
Чому це важливо
Доти результат у цій задачі означав число, порахуване авторами на власному розбитті власними правилами, і два числа з двох статей не можна було покласти поруч. Після цього дня можна: розбиття, скрипт і базова лінія лежали в одному місці, і різниця між системами стала різницею між системами, а не між способами рахувати.
Дані зібрано з розібраного Wall Street Journal у Penn Treebank II: секції 15–18 на навчання (211 727 токенів, 106 978 груп), секція 20 на тест (47 377 токенів). Частини мови проставив теґер Брілла, а не сама скарбниця дерев, — навмисно, щоб результат був реалістичним для текстів, для яких розбору немає. Разом із даними роздавали conlleval, перловий скрипт для підрахунку влучності, повноти й F. Одинадцять систем поділено на чотири родини: правила, пам'ять, статистика, поєднання. Усі одинадцять перевершили базову лінію, яка просто ставила найчастішу групу для кожної частини мови (F 77,07). Шість із одинадцяти лягли між 91,5 і 92,5. Найкращі дві помітно вище: опорні вектори в Кудо й Мацумото (F 93,48) і зважене голосування ван Гальтерена (F 93,32). Запис не стверджує, що тут виник формат спільних завдань. Той самий сайт організаторів перелічує CoNLL-97, CoNLL-98 і CoNLL-99, тобто це четверта конференція поспіль, і завдання в ній не почалися. Число тестових токенів і сам conlleval у статті не названо — обидва взято зі сторінки завдання, що збереглася лише в архіві. Дату теж дає не стаття: у ній стоїть «Lisbon, Portugal, 2000», а день і місяць — на архівній головній сторінці конференції. Тому впевненість тут середня, хоч усі три джерела між собою й не розходяться.