В последнее время все чаще стала прослеживаться тенденция в заинтересованности потенциальных работодателей во фрилансерах. Это сопряжено с несколькими факторами – как пандемией Covid-19, которая загнала многих по домам, так и желанием сэкономить на рабочем месте сотрудника. Такая особенность оказалась выгодной и для специалиста, работающего удаленно. Свободное владение современными софтами значительно увеличивает шансы получения выгодного предложения. Софт AutoCAD от Autodesk является базовым инженерным инструментом в сфере проектирования, моделирования и черчения...
Какова вычислительная сложность механизма self-attention? В оригинальной статье Attention Is All You Need есть таблица со сравнением Complexity per Layer (сложность на слой) нового механизма self-attention и других архитектур. Указано, что для self-attention это значение составляет O(n^2 * d), где d — это размерность векторного представления. В статье есть один нюанс. Авторы не учитывали сложность вычисления матриц Q, V и K (query, value и key). Их значения были взяты из скрытых состояний RNN. Поэтому идёт «чистый» расчёт для слоя Attention. #вопросы_с_собеседований