Lasso
Тібширані запропонував штрафувати суму модулів коефіцієнтів регресії, і це змушує частину з них стати рівно нулем.
Чому це важливо
Відбір ознак перестав бути окремим кроком: модель сама викидає зайве під час навчання.
На відміну від гребеневої регресії, яка лише зменшує коефіцієнти, штраф за модулем дає розріджений розв'язок. Це водночас і регуляризація, і інтерпретованість: видно, які ознаки модель вважає потрібними. Пізніше метод прижився й там, де ознак більше, ніж спостережень, — у геноміці й тексті; у статті 1996 року цього випадку немає, а Тібширані 2011 року зауважує, що оцінка найменших квадратів при p > N не визначена, а сама ситуація 1996 року не була гарячою темою.