Віха · червень 1993 р.

Penn Treebank

У Пенсильванському університеті розмітили мільйони слів англійського тексту за частинами мови і синтаксичною структурою і віддали корпус спільноті.

Чому це важливо

Поле дістало спільну лінійку: різні методи вперше можна було порівняти на тих самих даних і тому самому числі.

Розмічали статті Wall Street Journal, стенограми і переписані телефонні розмови. Корпус став основою для навчання і для оцінювання: покращення парсера почали вимірювати відсотком на цьому наборі. Ефект виявився ширшим за сам корпус — він задав звичку, за якою прогрес у мові вимірюють числом на спільному наборі, а не демонстрацією.

Відомості про подію

Дата події

червень 1993 р.

Дата на часовій лінії

Дата події

Перевірка

Джерела зібрано автоматично · 17 вересня 2026 р.

Лінії

ID

evt-0169

Випуск Computational Linguistics, том 19, номер 2, червень 1993 року.

Джерела

першоджерело Building a Large Annotated Corpus of English: The Penn Treebank
Computational Linguistics · Опубліковано червень 1993 р.

Пов’язані події

Пов’язано Статистичний машинний переклад
Обидві роботи переносять обробку мови з правил на дані.
Пов’язано ImageNet
Той самий хід, що згодом повторив ImageNet: спільний розмічений набір як умова прогресу.

Записи, що посилаються на цей

Пов’язано LeNet-5 і MNIST
Той самий принцип: спільний розмічений набір робить порівняння можливим.
Пов’язано Корпус TIMIT
Той самий хід, що й Penn Treebank: спільний розмічений набір як умова порівняння.
Пов’язано Дані важать більше за алгоритм
Експеримент став можливим, бо великі корпуси вже існували.
Спирається на CoNLL-2000: одинадцять систем на одному розбитті
Дані для завдання витягнуто з розібраної частини Wall Street Journal у Penn Treebank II: секції 15–18 на навчання, секція 20 на тест.
Introduction to the CoNLL-2000 Shared Task: Chunking
Уможливлює Статистичне розмічування частин мови
Автори Penn Treebank пишуть, що на ранніх етапах проєкту початкову автоматичну розмітку частин мови давала програма Черча PARTS, а анотатори виправляли її вихід.
Building a Large Annotated Corpus of English: The Penn Treebank
Спирається на Лексикалізований статистичний синтаксичний аналіз
Аналізатор навчено на розділах 02–21 частини Wall Street Journal у Penn Treebank і перевірено на розділі 23.
Three Generative, Lexicalised Models for Statistical Parsing (Michael Collins), ACL/EACL 1997, pp. 16-23