🔍 Введение: игра в «Муссолини или хлеб» и общность знаний
В детстве многие из нас играли в игры, которые на первый взгляд казались просто развлечением, но на самом деле скрывали глубокий философский смысл. Одна из таких игр — «Муссолини или хлеб». Правила просты: задавая вопросы о том, ближе ли загаданный объект к «Муссолини» или «хлебу», игроки постепенно сужают пространство поиска, пока не угадают объект.
Интересно, что люди без каких-либо предварительных договоренностей легко находят общее понимание «близости» и «смысла». Это наталкивает на идею, что наше восприятие мира обладает некоторой фундаментальной универсальностью.
Но может ли такая универсальность существовать и среди моделей искусственного интеллекта?
🗝️ Ключ к разгадке: сжатие как путь к интеллекту
Идея, что интеллект можно свести к способности сжимать информацию, возникла ещё в работах Клода Шеннона, основателя теории информации. Современные языковые модели (LLM), по сути, учатся всё лучше и лучше сжимать информацию о мире:
- 📚 Сжатие = понимание: Чем эффективнее модель сжимает данные, тем лучше она их понимает.
- 📈 Масштабирование — это всё: Чем крупнее модель и больше данных для обучения, тем качественнее она сжимает информацию и лучше «понимает» мир.
Эту связь подтверждают и последние исследования DeepMind и OpenAI, показавшие, что лучшие модели — всегда наиболее эффективные компрессоры информации.
🎭 Платоновская гипотеза представлений: «Все модели одинаковы»
В 2024 году учёные из MIT выдвинули провокационную «Платоновскую гипотезу представлений» (Platonic Representation Hypothesis). Она заключается в том, что все модели искусственного интеллекта, при достижении определённого масштаба, приходят к единому набору внутренних представлений, отражающих универсальные связи в реальном мире.
Другими словами, модели становятся похожими друг на друга, поскольку они просто приближаются к объективному «платоновскому идеалу» восприятия мира.
🖇️ Подтверждения гипотезы:
- 🔎 Схожие внутренние «цепочки»: Исследования в области механистической интерпретируемости показывают, что разные модели (например, GPT-3, GPT-4, Claude) используют похожие механизмы для решения схожих задач.
- 🧩 Перекодирование векторов: Гипотеза подтвердилась в экспериментах по преобразованию векторов (эмбеддингов). Учёные успешно научились переводить эмбеддинги одной модели в эмбеддинги другой без прямого соответствия данных. Это доказывает, что модели действительно «мыслят» схожим образом.
🔄 Практическое применение: расшифровка эмбеддингов и обратное преобразование
Одно из интересных приложений этой гипотезы — проблема обратного преобразования эмбеддингов (embedding inversion):
- 📥 Что это такое?
Если у нас есть только эмбеддинг (числовой вектор, представляющий текст), можем ли мы восстановить исходный текст?
Оказалось, это очень сложно. Векторы эмбеддингов чрезвычайно сжаты и обобщены, и поэтому обратное восстановление точного текста непросто. Тем не менее, исследователи предложили метод итеративного уточнения, который позволяет постепенно приближаться к нужному тексту с точностью до 94%.
Но авторы пошли дальше. Благодаря Платоновской гипотезе они создали универсальный метод «vec2vec», позволяющий преобразовывать эмбеддинги одной модели в эмбеддинги другой без дополнительной разметки и прямых соответствий. Это похоже на «магию», но полностью подтверждает гипотезу об универсальности.
🐋 Дешифровка древних языков и языка китов — будущее рядом?
Самая захватывающая перспектива этой идеи — возможность применять универсальные модели для дешифровки ранее непонятных или забытых языков:
- 📜 Древние тексты (например, Линейное письмо А), которое люди до сих пор не смогли расшифровать.
- 🐳 Язык китов: Если модели действительно учатся на универсальном языке реальности, то, возможно, скоро мы сможем «перевести» язык животных на человеческий язык.
Конечно, здесь есть свои сложности. Например, неизвестно, насколько «универсален» мир, который видят киты, по сравнению с человеческим. Но идея захватывающая и заслуживает внимания.
💡 Моё личное мнение: почему это важно?
Платоновская гипотеза представлений может стать одним из ключевых прорывов в искусственном интеллекте. Она говорит нам, что масштабные нейросети стремятся к универсальному пониманию мира — словно они «видят» одну и ту же «истину».
Это также ставит интересный философский вопрос: неужели интеллект во всех его формах (человеческий, животный, искусственный) стремится к общему представлению мира? Возможно, именно это и является сущностью интеллекта — способность максимально эффективно описывать и понимать мир вокруг.
🚩 Итог: куда это ведёт?
Мы стоим на пороге удивительного открытия. Возможно, впереди нас ждёт:
- 🔑 Расшифровка всех известных и неизвестных языков.
- 🧬 Глубокое понимание биологического и животного мира через язык.
- 🌐 Создание истинно универсальных систем искусственного интеллекта, способных понимать любую информацию и взаимодействовать с ней.
Если это окажется правдой, то человечество может впервые в истории приблизиться к универсальному языку общения — не только между людьми, но и с природой вокруг нас.
И это стоит того, чтобы следить за развитием событий!
🔗 Оригинальная статья:
All AI models might be the same (blog.jxmo.io)
🔗 Дополнительные материалы: