Transformers: попередньо навчена модель стає імпортом
17 листопада 2018 року Hugging Face випустила бібліотеку, спершу названу pytorch-pretrained-bert. Вона давала доступ до попередньо навчених трансформерних моделей через єдиний інтерфейс — двома рядками коду замість власної реалізації.
Чому це важливо
Саме тут попередньо навчена модель перестала бути дослідницьким артефактом і стала залежністю проєкту. Атлас має TensorFlow, PyTorch, Theano, Caffe і Keras — бібліотеки, у яких моделі пишуть. Ця — перша, у якій моделі беруть.
Стаття 2019 року описує задум так: сучасні трансформерні архітектури під єдиним API з підібраною колекцією попередньо навчених моделей, придатні водночас для розширення дослідниками, простого використання практиками і швидкої надійної роботи у промисловому розгортанні. Авторів двадцять двоє, перший — Томас Вольф. Із датою тут легко помилитися, і помилка коштує двох років. Назва transformers існує в індексі пакетів Python із 17 серпня 2016 року, але та версія 0.1 до цієї бібліотеки стосунку не має: під цією назвою Hugging Face з'являється лише з версії 2.0.0 від 26 вересня 2019 року. Справжній ланцюг такий: pytorch-pretrained-bert від 17 листопада 2018 року, далі pytorch-transformers від 5 липня 2019 року, далі transformers від 26 вересня 2019 року. Запис стоїть на першій даті, бо саме тоді бібліотека стала доступною. Репозиторій створено 29 жовтня 2018 року, за три тижні до першого релізу.