Умовні випадкові поля
На ICML 2001 Джон Лафферті (Карнегі-Меллон), Ендрю Маккаллум і Фернандо Перейра (WhizBang! Labs, Перейра також Пенсильванський університет) представили умовні випадкові поля: модель імовірності всієї послідовності міток за послідовністю спостережень, нормовану по всій послідовності, а не в кожному стані. На розмітці частин мови в Penn Treebank похибка на слово — 5,55 % проти 5,69 % у прихованої марковської моделі й 6,37 % у марковської моделі максимальної ентропії; з ознаками написання — 4,27 % проти 4,81 %.
Чому це важливо
Послідовність стало можливо розмічати за багатьма ознаками входу, що перекриваються, яких генеративна HMM представити не може, і без зміщення міток (label bias), властивого дискримінативним моделям, нормованим у кожному стані окремо: такі моделі, за статтею, можуть зміщуватися до станів із малою кількістю наступників. Це крок від генеративної моделі підручника 1989 року до дискримінативної розмітки послідовностей. Редакційна оцінка.
Рисунок 4 дає похибку на слово й похибку на словах поза словником (OOV): HMM — 5,69 % і 45,99 %, MEMM — 6,37 % і 54,61 %, CRF — 5,55 % і 48,05 %, MEMM з ознаками написання — 4,81 % і 26,99 %, CRF з ними — 4,27 % і 23,76 %. Без ознак написання CRF кращі за HMM загалом, але гірші на невідомих словах. Прочитано цілком з авторського постпринта в репозиторії Пенсильванського університету; репозиторій вказує, що остаточна версія — у матеріалах ICML 2001, с. 282–289. Чого запис не стверджує: місця й дати закриття конференції, яких жодне прочитане джерело не називає, і дня 28 червня як дня доповіді.