Перший конкурс Loebner
8 листопада 1991 року в Бостонському комп'ютерному музеї відбувся перший конкурс на премію Г'ю Лебнера — обмежений тест Тюрінга: десять суддів із публіки розмовляли на задані теми з шістьма програмами й двома людьми. Перемогла програма Джозефа Вайнтрауба на тему «примхливої розмови»; п'ятеро суддів назвали її людиною.
Чому це важливо
Тест Тюрінга вперше провели як публічне змагання з призом, і воно показало не спроможність програм, а легковірність суддів: за Шибером, вісім разів програму прийняли за людину, тричі людину — за програму.
Перше джерело — стаття Стюарта Шибера, рефері в кімнаті людей-учасників, у першій версії arXiv від 4 квітня 1994 року; друге — звіт самого Computer Museum, господаря конкурсу (зима 1992). Щоб програми мали шанс, розмову обмежили однією темою і «природним» тоном, без «trickery or guile»; суддів і людей-учасників набрали оголошенням, без знань комп'ютерних наук. Задумали десять агентів; двох людей виключили через технічні проблеми, тож лишилося дві, а програм було шість, на комп'ютерах у п'яти штатах. Приз — 1500 доларів і бронзова медаль; 100 000 Лебнер запропонував за першу машину, що пройде повний тест. Переможна програма — модифікована PC Therapist Вайнтрауба на тему «примхливої розмови»: за звітом музею, вона обдурила п'ятьох із десяти суддів, а чотири з шести програм обдурили бодай одного. Людину, яка говорила про Шекспіра, за Шибером тричі назвали комп'ютером; звіт музею пише, що двоє суддів прийняли одну з людей за комп'ютер, тож число розходиться між джерелами. Шибер доводить, що обмеження теми не обмежує задачі і що конкурс не має ясної наукової мети.