Сліпа оцінка порад MYCIN

Вісім незалежних фахівців, не знаючи авторства, оцінили призначення MYCIN при менінгіті вище, ніж призначення п'ятьох університетських лікарів.

Чому це важливо

Перше сліпе порівняння машини з експертами у практичній галузі — і машина не програла.

Оцінювали десять випадків менінгіту; рекомендації MYCIN отримали 65 відсотків прийнятності, у викладачів — від 42,5 до 62,5. Система жодного разу не пропустила збудника, якого треба було покрити. Попри це в клініку MYCIN не потрапила: заважали питання відповідальності, відсутність інтеграції з лікарняними системами і потреба вручну вводити дані.

Відомості про подію

Дата події

вересень 1979 р.

Дата на часовій осі

Дата події

Перевірка

Джерела зібрано автоматично · 17 вересня 2026 р.

Лінії

ID

evt-0135

Стаття в JAMA від 21 вересня 1979 року.

Джерела

першоджерело Antimicrobial selection by a computer: a blinded evaluation by infectious diseases experts
JAMA · Опубліковано вересень 1979 р.
першоджерело V. L. Yu, L. M. Fagan, S. W. Bennett, W. J. Clancey, A. C. Scott, J. F. Hannigan, R. L. Blum, B. G. Buchanan, S. N. Cohen, An Evaluation of MYCIN's Advice (chapter 31), in Buchanan and Shortliffe (eds.), Rule-Based Expert Systems, Addison-Wesley, 1984, pp. 589-596; edited from JAMA 242:1279-1282 (1979)
Addison-Wesley (author-hosted copy at shortliffe.net); JAMA, American Medical Association · Опубліковано 1984

Пов’язані події

Раніше

Розвиває MYCIN 1974
Оцінювання стосується саме тієї системи, що описана в дисертації 1974 року.
- Antimicrobial selection by a computer: a blinded evaluation by infectious diseases experts · JAMA

Пізніше

Пов’язано INTERNIST-I поступається експертам 1982посилається на цей запис
Обидві оцінки ставлять експертну систему поряд із лікарями на справжніх випадках: MYCIN — сліпо, на десяти випадках менінгіту, INTERNIST-I — на дев'ятнадцяти опублікованих випадках із різних галузей внутрішньої медицини.
Протиставляє BLEU: якість перекладу вперше рахує формула 2002посилається на цей запис
MYCIN перевіряли сліпою панеллю фахівців — найдорожчим і найповільнішим із можливих способів. BLEU виміряв, наскільки близько до такої панелі можна підійти формулою.
- Bleu: a Method for Automatic Evaluation of Machine Translation · Association for Computational Linguistics
Пов’язано FDA допускає діагноз без лікаря 2018посилається на цей запис
MYCIN перевершив лікарів у сліпій оцінці, але в клініку не потрапив; IDx-DR допущено до клініки саме як рішення без лікаря, що інтерпретує знімок.