Адаптивні суміші локальних експертів
У лютневому випуску Neural Computation 1991 року (том 3, випуск 1, с. 79–87) Роберт Джейкобс і Майкл Джордан з MIT та Стівен Ноулан і Джеффрі Гінтон з Торонтського університету описали систему з кількох мереж-експертів і мережі-вентиля, яка для кожного навчального прикладу вирішує, котрий експерт його бере. На задачі розрізнення чотирьох голосних 75 мовців суміші з 4 або 8 простих лінійних експертів досягали критерію похибки приблизно вдвічі швидше за мережі зворотного поширення, за тих самих 90 % на перевірці.
Чому це важливо
Мережа змогла ділити задачу на підзадачі, не знаючи наперед, де проходить межа, і вчити кожну частину без завад від решти. Мережа-вентиль, що розподіляє вхід між експертами, — той самий пристрій, яким користуються розріджені шари експертів 2017 року й дрібнозернисті експерти DeepSeekMoE 2024 року; DeepSeekMoE називає цю статтю місцем, де техніку вперше запропоновано.
Стаття подає процедуру як модульну версію багатошарової мережі з учителем або як асоціативну версію змагального навчання. Дані — перші дві форманти голосних [i], [I], [a] і [A] у контексті hVd від 75 мовців (чоловіки, жінки й діти) з роботи Петерсона й Барні 1952 року; навчання на перших 50 мовцях, перевірка на решті 25. Таблиця 1, середнє з 25 симуляцій: усі чотири системи мають 88 % на навчанні й 90 % на перевірці; середня кількість епох до критерію — 1124 для 4 експертів, 1083 для 8, 2209 для зворотного поширення з 6 прихованими нейронами і 2435 з 12. В одному прогоні з 4 експертами один експерт не робив жодного внеску: його частка в суміші була фактично нульовою. Вентиль 1991 року змішує виходи експертів у пропорціях; обчислювати для кожного прикладу лише кількох експертів додала стаття 2017 року. Прочитано зі скану на сторінці Гінтона в Торонто, сторінка за сторінкою як зображення, бо текстового шару скан не має. Чого запис не стверджує: виграшу в точності (на перевірці всі чотири системи рівні) і місяця березня, який очікувався до читання.