Lasso
Тібширані запропонував штрафувати суму модулів коефіцієнтів регресії, і це змушує частину з них стати рівно нулем.
Чому це важливо
Відбір ознак перестав бути окремим кроком: модель сама викидає зайве під час навчання.
На відміну від гребеневої регресії, яка лише зменшує коефіцієнти, штраф за модулем дає розріджений розв'язок. Це водночас і регуляризація, і інтерпретованість: видно, які ознаки модель вважає потрібними. Метод став основою для роботи з даними, де ознак більше, ніж спостережень, — типової ситуації в геноміці й тексті.