ConceptNet: здоровий глузд, зібраний із речень відвідувачів
У жовтні 2004 року Г'юго Лю і Пуш Сінгх із MIT Media Lab описали ConceptNet 2.0 — базу побутових знань на 1,6 мільйона тверджень і 300 тисяч вузлів. Її не писали руками: її видобуто автоматично з 700 тисяч англійських речень, які на сайт Open Mind Common Sense наклали понад 14 тисяч людей.
Чому це важливо
Cyc двадцять років доводив, що здоровий глузд треба записувати аксіомами, і за двадцять років дійшов до величини того самого порядку. ConceptNet показав інший шлях до неї: питати в перехожих звичайними реченнями й розбирати їх програмою. Це та сама ставка на натовп і автоматичний розбір, яку через три роки зробили над Вікіпедією.
Стаття вийшла в BT Technology Journal, том 22, номер 4, від сторінки 211. Числа з неї: 1,6 мільйона тверджень, із яких приблизно 1,25 мільйона — це k-лінії, тобто загальні зв'язки між поняттями, а не факти про них; понад 300 тисяч вузлів; двадцять типів відношень — «The present relational ontology consists of twenty relation-types». Сайт Open Mind Common Sense запрацював 2000 року, і його корпус на цей момент — 700 тисяч речень від понад 14 тисяч дописувачів. Сама стаття ставить себе поряд із двома сусідами: «While WordNet is optimised for lexical categorisation and word-similarity determination, and Cyc is optimised for formalised logical reasoning, ConceptNet is optimised for making practical context-based inferences over real-world texts». Чого запис не стверджує. Вузлів не 280 тисяч. Число 280 000 у статті є, але це кількість ребер попередньої системи OMCSNet — «a semantic network with 280 000 edges and 80 000 nodes», — а не вузлів ConceptNet 2.0. Запис не стверджує й того, що база точна: автори самі кажуть, що суддями перевірено вибірку початкового корпусу OMCS і правдивими визнано 75 відсотків пунктів.