52 подписчика
Оказывается, языковые модели не просто запоминают информацию, на которой обучаются 🫣
В их эмбеддингах можно обнаружить линейные фичи, связанные со временем и пространством.
Оказалось, что модели содержат в себе нечто похожее на карту мира. А используя линейные преобразования, можно приблизительно восстановить эту карту. То же самое справедливо для имен и событий — активация этих слов также обладает линейными характеристиками, связанными с временем.
Это ещё одно доказательство того, что языковые модели не просто механически запоминают примеры, на которых они тренировались, а внутри себя строят внутреннюю картину мира, которая им помогает понимать и обрабатывать тексты.
Около минуты
16 октября 2023