ANNA: згорткова мережа на аналоговому кристалі
У 1991 році Бернгард Бозер, Ян Лекун і колеги з AT&T Bell Labs описали ANNA — кристал, що виконує понад 2 000 множень і додавань одночасно. На ньому працювала згорткова мережа для рукописних цифр зі 133 тисячами з'єднань: понад 1 000 символів на секунду з помилкою 5,3 % проти 4,9 % у початкової мережі з рухомою комою.
Чому це важливо
Згорткова мережа, яка кількома роками раніше читала поштові індекси на звичайному комп'ютері, лягла на спеціалізований кристал без помітної втрати точності, хоча ваги мали лише 6 біт. Це ранній вимір того, скільки точності насправді потрібно мережі, — питання, яке через чверть століття знову вирішували цілочислові прискорювачі.
За статтею в IEEE Journal of Solid-State Circuits (грудень 1991 року): 4 096 фізичних ваг з точністю 6 біт, стани нейронів — 3 біти, такт 20 МГц, стала швидкість 5 мільярдів з'єднань на секунду, понад 180 000 транзисторів у процесі CMOS 0,9 мкм. Ваги зберігаються зарядом на конденсаторах і періодично оновлюються з зовнішньої пам'яті; навчання відбувається поза кристалом, на робочій станції з рухомою комою. Мережа має п'ять шарів: перші чотири, згорткові, з 97 % з'єднань, працюють на кристалі, останній, 3 000 з'єднань, — на сигнальному процесорі DSP32C. Проста квантизація ваг до 6 біт давала неприйнятну втрату точності, тож останній шар перенавчили на даних, отриманих із самого кристала. Швидкість — понад 1 000 символів на секунду, у сто разів більше, ніж на реалізації з DSP; людина на тих самих даних помиляється у 2,5 % випадків. Чого запис не стверджує: дати доповіді ISSCC 1991 року, яку Crossref також називає, — її не прочитано.