Індукція дерев рішень
Квінлан описав ID3: алгоритм будує дерево, щоразу обираючи ознаку, яка найбільше зменшує невизначеність.
Чому це важливо
Навчання дало результат, який людина може прочитати й перевірити, — рідкість, що зробила дерева стандартом у прикладних задачах.
Критерій вибору ознаки — приріст інформації, тобто те саме поняття ентропії, що й у Шеннона. Дерево можна перекласти в набір правил «якщо-то» і показати експертові. Продовження ID3 стало C4.5, одним із найуживаніших алгоритмів 1990-х, а згодом з дерев виріс випадковий ліс і градієнтний бустинг.