Mamba
Автори запропонували модель послідовностей із вибірковим станом, вартість якої зростає лінійно з довжиною, а не квадратично.
Чому це важливо
Шість років панування трансформера вперше отримали технічно серйозний виклик саме там, де він найдорожчий.
Механізм уваги порівнює кожен елемент із кожним, тому подвоєння довжини вчетверо збільшує вартість. Mamba натомість тримає стан, вибірково вирішуючи, що запам'ятати, і працює лінійно. На довгих послідовностях, зокрема в геноміці й аудіо, це принципово. Трансформер вона не витіснила, але породила гібридні архітектури, де обидва механізми поєднано.