AdaBoost

Фройнд і Шапіре показали, як із набору ледь кращих за випадковість класифікаторів скласти один сильний, щоразу підвищуючи вагу помилок.

Чому це важливо

Теоретичне питання про силу слабкого учня отримало практичну відповідь, яку автори одразу випробували на розпізнаванні цифр.

Кожен наступний класифікатор навчається на перезваженій вибірці, де приклади, на яких помилилися попередні, важать більше. Помилка на навчальних даних спадає експоненційно з кількістю кроків. У перших експериментах авторів метод, схоже, не перенавчався: помилка на тесті продовжувала падати й після сотень раундів, а пояснення через відступи (margins) з'явилося пізніше. 2001 року Віола й Джонс збудували на AdaBoost детектор облич, що працював зі швидкістю 15 кадрів на секунду на Pentium III 700 МГц.

Відомості про подію

Дата події

березень 1995 р.

Дата на часовій осі

Дата події

Перевірка

Джерела зібрано автоматично · 17 вересня 2026 р.

Лінії

Теорія навчання

ID

evt-0174

Доповідь на другій європейській конференції з обчислювальної теорії навчання, березень 1995 року; журнальна версія вийшла 1997 року.

Джерела

першоджерело A decision-theoretic generalization of on-line learning and an application to boosting
EuroCOLT 1995 · Опубліковано березень 1995 р.
першоджерело Rapid Object Detection using a Boosted Cascade of Simple Features
CVPR 2001 · Опубліковано грудень 2001 р.
архівна копія A decision-theoretic generalization of on-line learning and an application to boosting (Yoav Freund, Robert E. Schapire), manuscript of 19 December 1996
AT&T Labs (author's archive, Robert Schapire) · Опубліковано грудень 1996 р.

Пов’язані події

Раніше

Пов’язано Індукція дерев рішень 1986
На практиці метод найчастіше застосовували саме до дерев рішень.
Спирається на Теорія навченого 1984
Відповідає на питання, поставлене в теорії навченого: чи можна зі слабкого учня зробити сильного.
- A decision-theoretic generalization of on-line learning and an application to boosting · EuroCOLT 1995

Пізніше

Пов’язано Умовні випадкові поля 2001посилається на цей запис
Розділ 6 статті: CRF можна навчати тією самою експоненційною функцією втрат, що й AdaBoost.
- Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data · University of Pennsylvania, ScholarlyCommons (Departmental Papers, CIS)
Протиставляє Випадкові ліси 2001посилається на цей запис
Резюме статті: випадковий вибір ознак у кожному вузлі дає похибку, яка порівняно добре виглядає проти AdaBoost, але стійкіша до шуму.
- Random Forests · Machine Learning (Kluwer, now Springer)
Спирається на Градієнтний бустинг 2001посилається на цей запис
Резюме прямо обговорює зв'язок свого підходу з бустингом Фройнда й Шапіре: AdaBoost стає окремим випадком градієнтного спуску в просторі функцій.
- Greedy function approximation: A gradient boosting machine. · The Annals of Statistics, Institute of Mathematical Statistics (Project Euclid)
Спирається на Виявлення облич Віоли і Джонса 2001посилається на цей запис
Каскад класифікаторів навчається саме бустингом.
- Rapid Object Detection using a Boosted Cascade of Simple Features · CVPR 2001