Вінер: мета, вкладена в машину
6 травня 1960 року журнал Science надрукував статтю Норберта Вінера «Some Moral and Technical Consequences of Automation». На прикладі шашкових програм IBM, які після 10–20 годин гри й навчання обігрують того, хто їх запрограмував, Вінер доводив, що машина, яка вчиться, може виробити непередбачені стратегії швидше, ніж людина встигне їх зрозуміти й втрутитися.
Чому це важливо
Це перше в атласі формулювання того, що згодом назвуть проблемою узгодження: небезпека не в бунті машини, а в тому, що вона буквально виконує поставлену мету. Вінер пише: «we had better be quite sure that the purpose put into the machine is the purpose which we really desire». До цього проходу атлас не мав жодного запису про наслідки автоматизації раніше за 2014 рік.
Аргумент статті — про часові масштаби: людина й машина діють у різному темпі, тож контроль, який запізнюється, може бути нечинним, «by the time we are able to react … it may already have run head on into a wall». Вінер спирається на «Учня чародія» і «Мавпячу лапу» як притчі про буквальне виконання бажань. Шашковий приклад: машини, що враховують записи зіграних партій і переважують чинники, грають пристойно в шахи, а в шашках після 10–20 годин «working and indoctrination» переважають свого програміста. Стаття не називає Артура Семюела — лише IBM; атлас пов'язує її з записом про шашки Семюела саме через цю компанію й цю програму, а не через ім'я в тексті. Текст прочитано за сканом JSTOR; сторінка science.org показала перевірку Cloudflare, яку не обходили.