Penn Treebank

У Пенсильванському університеті розмітили понад 4,5 млн слів американської англійської за частинами мови, більше половини з них ще й скелетною синтаксичною структурою, і зробили корпус доступним через Linguistic Data Consortium.

Чому це важливо

Поле дістало спільну лінійку: різні методи вперше можна було порівняти на тих самих даних і тому самому числі.

За таблицею звіту станом на листопад 1992 року розмічали реферати Міністерства енергетики США, повідомлення Dow Jones Newswire, бюлетені Міністерства сільського господарства, тексти Library of America, повідомлення MUC-3, речення з посібників IBM, стенограми радіо WBUR, речення ATIS і перерозмічений корпус Brown. Корпус став основою для навчання і для оцінювання: покращення парсера почали вимірювати відсотком на цьому наборі. Ефект виявився ширшим за сам корпус — він задав звичку, за якою прогрес у мові вимірюють числом на спільному наборі, а не демонстрацією.

Відомості про подію

Дата події

червень 1993 р.

Дата на часовій осі

Дата події

Перевірка

Джерела зібрано автоматично · 17 вересня 2026 р.

Лінії

ID

evt-0169

Випуск Computational Linguistics, том 19, номер 2, червень 1993 року.

Джерела

першоджерело Building a Large Annotated Corpus of English: The Penn Treebank
Computational Linguistics · Опубліковано червень 1993 р.
архівна копія Building a Large Annotated Corpus of English: The Penn Treebank (technical report MS-CIS-93-87)
University of Pennsylvania, Department of Computer and Information Science (ScholarlyCommons) · Опубліковано жовтень 1993 р.

Пов’язані події

Раніше

Пов’язано Корпус TIMIT 1990посилається на цей запис
Той самий хід, що й Penn Treebank: спільний розмічений набір як умова порівняння.
Пов’язано Статистичний машинний переклад 1988
Обидві роботи переносять обробку мови з правил на дані.
Уможливлює Статистичне розмічування частин мови 1988посилається на цей запис
Автори Penn Treebank пишуть, що на ранніх етапах проєкту початкову автоматичну розмітку частин мови давала програма Черча PARTS, а анотатори виправляли її вихід.
- Building a Large Annotated Corpus of English: The Penn Treebank · Computational Linguistics

Пізніше

Спирається на Лексикалізований статистичний синтаксичний аналіз 1997посилається на цей запис
Аналізатор навчено на розділах 02–21 частини Wall Street Journal у Penn Treebank і перевірено на розділі 23.
- Three Generative, Lexicalised Models for Statistical Parsing (Michael Collins), ACL/EACL 1997, pp. 16-23 · Association for Computational Linguistics
Пов’язано LeNet-5 і MNIST 1998посилається на цей запис
Той самий принцип: спільний розмічений набір робить порівняння можливим.
Спирається на CoNLL-2000: одинадцять систем на одному розбитті 2000посилається на цей запис
Дані для завдання витягнуто з розібраної частини Wall Street Journal у Penn Treebank II: секції 15–18 на навчання, секція 20 на тест.
- Introduction to the CoNLL-2000 Shared Task: Chunking · Association for Computational Linguistics
Пов’язано Дані важать більше за алгоритм 2001посилається на цей запис
Експеримент став можливим, бо великі корпуси вже існували.
Пов’язано ImageNet 2009
Той самий хід, що згодом повторив ImageNet: спільний розмічений набір як умова прогресу.