Дослідження · березень 1995 р.

AdaBoost

Фройнд і Шапіре показали, як із набору ледь кращих за випадковість класифікаторів скласти один сильний, щоразу підвищуючи вагу помилок.

Чому це важливо

Теоретичне питання про силу слабкого учня отримало практичну відповідь, і вона одразу почала вигравати змагання.

Кожен наступний класифікатор навчається на перезваженій вибірці, де приклади, на яких помилилися попередні, важать більше. Помилка на навчальних даних спадає експоненційно з кількістю кроків. Метод виявився напрочуд стійким до перенавчання, що довго лишалося теоретичною загадкою. 2001 року на AdaBoost побудували перший практичний детектор облич.

Відомості про подію

Дата події

березень 1995 р.

Дата на часовій лінії

Дата події

Перевірка

Джерела зібрано автоматично · 17 вересня 2026 р.

Лінії

Теорія навчання

ID

evt-0174

Доповідь на другій європейській конференції з обчислювальної теорії навчання, березень 1995 року; журнальна версія вийшла 1997 року.

Джерела

першоджерело A decision-theoretic generalization of on-line learning and an application to boosting
EuroCOLT 1995 · Опубліковано березень 1995 р.

Пов’язані події

Спирається на Теорія навченого
Відповідає на питання, поставлене в теорії навченого: чи можна зі слабкого учня зробити сильного.
A decision-theoretic generalization of on-line learning and an application to boosting
Пов’язано Індукція дерев рішень
На практиці метод найчастіше застосовували саме до дерев рішень.

Записи, що посилаються на цей

Спирається на Виявлення облич Віоли і Джонса
Каскад класифікаторів навчається саме бустингом.
Rapid Object Detection using a Boosted Cascade of Simple Features
Пов’язано Умовні випадкові поля
Розділ 6 статті: CRF можна навчати тією самою експоненційною функцією втрат, що й AdaBoost.
Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data
Протиставляє Випадкові ліси
Резюме статті: випадковий вибір ознак у кожному вузлі дає похибку, яка порівняно добре виглядає проти AdaBoost, але стійкіша до шуму.
Random Forests
Спирається на Градієнтний бустинг
Резюме прямо обговорює зв'язок свого підходу з бустингом Фройнда й Шапіре: AdaBoost стає окремим випадком градієнтного спуску в просторі функцій.
Greedy function approximation: A gradient boosting machine.