Данная работа исследует удивительное явление: случайное удаление до 50% размерности текстовых эмбеддингов приводит лишь к незначительному снижению производительности (менее 10%) в задачах поиска и классификации. Авторы пытаются понять механизмы этого явления и его практическое значение. Ключевые находки: Эксперименты проводились на шести современных энкодерах, включая модели на основе больших языковых моделей, и охватывали 26 различных задач из бенчмарков BEIR и MTEB. Результаты оказались стабильными независимо от способа выбора удаляемых размерностей - будь то последние размерности или случайно выбранные...

Размерность линейного пространства Размерность линейного (векторного) пространства — это количество векторов в любом его базисе. Другими словами, это максимальное количество линейно независимых векторов в данном пространстве. Обозначение: dim V, где V – линейное пространство. Базис линейного пространства Базис линейного (векторного) пространства — это упорядоченный набор линейно независимых векторов, через которые можно выразить любой вектор этого пространства в виде линейной комбинации...