Theano
Монреальська група випустила компілятор математичних виразів, що сам обчислює похідні та сам переносить роботу на відеокарту.
Чому це важливо
Автоматичне диференціювання стало інфраструктурою: дослідник описував модель, а не писав градієнти вручну.
До Theano кожен виводив і програмував похідні сам, і помилка в градієнті була звичайною причиною того, що мережа не навчалася. Theano будувала символьний граф, диференціювала його і компілювала під наявне залізо. Саме ця схема лягла в основу TensorFlow. Розробку припинили 2017 року, коли з'явилися ширше підтримувані системи.