Торчирование трансформера: пособие для начинающих изготовителей чудовищных Франкенштейнов
Чтобы продать что-нибудь ненужное, нужно сначала купить что-нибудь ненужное, а у нас денег нет. (C) Дядя Фёдор. У меня есть полученная с нуля языковая модель преобразователя типа кодер-декодер. Благодаря набору библиотек OpenNMT всё что для этого было нужно — создать файл конфигурации и собрать наборы данных. Теперь благоприятное время для обдумывания, что с ней можно делать и к чему пристроить. Но для начала, всё-таки как она устроена? Ответ на этот вопрос важен, если мы хотим научиться использовать подобные модели за рамками стандартного применения...