Исследователи из Массачусетского технологического института считают, что большие языковые модели обрабатывают разнообразные данные через «семантический центр», схожий с механизмом, используемым человеческим мозгом.
Ученые из Массачусетского технологического института (MIT) установили, что большие языковые модели (LLM) используют механизмы обработки информации, похожие на те, что наблюдаются в человеческом мозге. На портале arXiv опубликован препринт исследования, которое представят на конференции по машинному обучению ICLR в Сингапуре.
Исследование показало, что LLM, подобно человеческому мозгу, используют «семантический центр» для обработки различных типов данных. В человеческом мозге такой центр находится в передней височной доле и соединен специфическими связями, направляющими информацию из разных источников: визуальные, тактильные и другие данные.
Аналогичным образом, LLM обрабатывают через централизованный механизм данные из разных источников: текст на разных языках, математические задачи или компьютерный код. Например, модель, в которой английский является доминирующим языком, использует его как основу для обработки информации на других языках или для работы с нетекстовыми данными.
Исследователи провели серию экспериментов, в которых пропускали через модель пары предложений с одинаковым смыслом, но написанных на разных языках. Они измеряли, насколько похожими были внутренние представления модели для каждого предложения. Аналогичные эксперименты были проведены с другими типами данных, включая компьютерный код и математические выражения.
Результаты последовательно показывали, что предложения с похожим смыслом получали схожие представления внутри модели независимо от языка. Более того, во внутренних слоях модели данные разных типов обрабатывались способом, похожим больше на обработку текста на английском языке, чем на их исходный формат.
Ученые полагают, что LLM используют эту стратегию как экономичный способ обработки данных, поскольку многие сведения являются общими независимо от языка или типа данных. Это позволяет моделям избегать дублирования информации для каждого языка или модальности. Понимание принципов работы моделей поможет разработать более эффективный ИИ, способный лучше обрабатывать разнообразные данные.
Читать далее:
Эксперты проверили «чудо» со статуей Девы Марии: что показал ДНК-тест
Время может двигаться вперед и назад одновременно: что выяснили физики
Через Млечный Путь несется пара объектов на гиперскорости: что о них известно
Иллюстрация на обложке: Изображение от DC Studio на Freepik, сведения о лицензии