10,2 тыс подписчиков

💥 Снижаем размерность эмбеддингов предложений для задачи определения семантического сходства

Сегодня пойдет речь о методах снижения размерности эмбеддингов для задач определения семантического сходства предложений.

Для чего это необходимо. С каждым годом растет сложность моделей, решающих вопросы семантически- и контекстно-ориентированной обработки естественного языка (NLP). Также нельзя забывать и про проблемы мультиязычности моделей. Все это сильно сказывается на увеличении их размеров и системных требований к железу для их обучения, дообучения, да и просто запуска. Задачи NLP сегодня – это прикладные задачи, их хочется решать на доступном оборудовании за доступное время.

А если поконкретней? Передо мной стояла задача найти и обобщить текстовые данные, представляющие собой массив предложений. Я точно знал, что среди них есть семантически схожие фразы. Однако прямой подход для определения семантического сходства наборов фраз требовал очень много памяти и времени. Чтобы решить эту проблему, я попытался уменьшить размерность векторов признаков предложений, но как понять, когда остановиться и что это даст?

Ну и как понять? В рамках данной публикации посмотрим, как меняется оценка семантического сходства от изменения размерностей эмбеддингов разными классическими методами их уменьшения.

▪Читать

@machinelearning

💥 Снижаем размерность эмбеддингов предложений для задачи определения семантического сходства Сегодня пойдет речь о методах снижения размерности эмбеддингов для задач определения семантического...

1 минута

26 апреля 2023

106 читали