Бостром: «Superintelligence»
3 липня 2014 року Oxford University Press випустило книжку Ніка Бострома, директора оксфордського Інституту майбутнього людства, «Superintelligence: Paths, Dangers, Strategies», 352 сторінки. Книжка розбирає, як машинний інтелект може перевершити людський, чому його цілі можуть розійтися з людськими і які способи контролю для цього взагалі можливі.
Чому це важливо
Питання, яке Гуд 1966 року залишив умовою в кінці речення, стало предметом цілої книжки від академічного видавця. Запис фіксує момент, коли ризик від машинного інтелекту почали обговорювати як дослідницьку програму, а не як фантастику: через три роки стаття, з якої виросло навчання з людських уподобань, посилається на Бострома поруч із «Concrete Problems in AI Safety».
За описом видавця: доля людства залежатиме від машинного суперінтелекту так само, як доля горил тепер залежить від людей; перевага людей у тому, що перший хід за ними; книжка питає, чи можна задати початкові умови так, щоб «intelligence explosion» можна було пережити, і розбирає, серед іншого, методи ізоляції, «розтяжки», непряму нормативність та інструментальну конвергенцію. Саму книжку не прочитано, тож запис не цитує її тексту. Вислів «control problem» на сторінці видавця не трапляється. Бриф пропонував зв'язок із заснуванням OpenAI через засновників, які називали книжку; джерела, де вони це кажуть, не знайдено, і такого зв'язку запис не стверджує. Американська дата виходу жодним прочитаним документом не підтверджена.