Статья ставит под вопрос то, как в области интерпретируемости нейросетей принято говорить о «гипотезе линейного представления», идее, что модели кодируют понятия в виде линейных направлений во внутреннем пространстве представлений. Авторы отмечают: чтобы делать выводы о представлениях, которые верны не только для одной конкретной обученной модели, нужно явно определить, когда два представления считаются эквивалентными. На практике эту эквивалентность почти никогда не проговаривают явно. Проблема в том, что разные понятия эквивалентности сохраняют разные структуры данных...