Читання з губ зменшує помилки розпізнавача

У травні 1988 року Ерік Петаджан і колеги з AT&T Bell Laboratories разом із Майклом Бруком з Університету Бата показали на CHI '88 систему, що читає з губ за відео рота й поєднує результат зі звуковим розпізнавачем AT&T ASR1000. На англійській абетці поєднання зменшило його помилки від чверті до двох третин.

Камера передавала обличчя; спеціальне обладнання з частотою 60 кадрів за секунду робило бінарне зображення, а рот знаходили, стежачи за ніздрями. Шаблони слів векторно квантували кодовою книгою з трохи менш ніж 256 зображень рота — 60 байтів зорових даних за секунду — і порівнювали динамічним викривленням часу. Чотири диктори, окремі слова, система налаштовувалася на кожного; словники — абетка й цифри від нуля до дев'яти. Поєднання робили 29 евристичних правил: для одного диктора помилки ASR1000 на літерах зменшилися майже вдвічі з квантуванням і майже на дві третини без нього, для іншого — приблизно на чверть і на третину. Дисертацію 1984 року описує її реферат у репозиторії Іллінойського університету: окремі слова, один диктор, камера й мінікомп'ютер зі спеціальним обладнанням для відео; звук розпізнає окремий комерційний пристрій, а поєднання зорових і звукових кандидатів дає точність, що «greatly exceeds» звукову. Чисел реферат не називає, а повний текст відкритий лише для університету. В огляді 1996 року Петаджан і Граф пишуть, що першу систему читання з губ Петаджан завершив 1984 року: чотири параметри бінарного зображення рота, знайденого за ніздрями, словник із цифр, літер і кількох слів. Першість — твердження самого автора, другого джерела про неї запис не має; доповіді Globecom 1984 і CVPR '85 не прочитано. Відсотків із таблиць статті 1988 року не наведено: у доступній копії вони не читаються надійно.