В больших моделях искусственного интеллекта, таких как ChatGPT, память и рассуждения архитектурно разделены, обнаружили ученые. Этим открытием, которое поможет сделать ИИ безопаснее и надежнее, они поделились в препринте на arXiv.
Модели ИИ, обученные на огромных массивах данных, опираются как минимум на две ключевые функции. Первая — память, позволяющая системе извлекать и воспроизводить информацию. Вторая — логическое мышление (рассуждения), то есть решение новых задач путем применения обобщенных принципов и усвоенных паттернов. Однако до сих пор не было известно, как организованы эти важнейшие навыки.
Чтобы это выяснить, специалисты по машинному обучению из стартапа Goodfire.ai изучили внутреннюю структуру больших языковых и визуальных моделей.
Как устроен «мозг» ИИ
Сначала они применили математический метод K-FAC (приблизительная кривизна с учетом фактора Кронекера), чтобы идентифицировать компоненты, ответственные за разные способности. Оказалось, что простое запоминание данных связано с компонентами низкой кривизны (узкими, специализированными «дорожками» памяти), а гибкое логическое мышление — с компонентами высокой кривизны (широкими, общими механизмами обработки).
Затем отключили части ИИ, связанные с памятью, и протестировали модель на различных задачах. Среди них были ответы на фактологические вопросы и решение новых проблем. Эксперимент показал, что даже при отключенной памяти модели сохраняют способность к логическим рассуждениям. Это доказывает, что две функции занимают в архитектуре ИИ разные области.
«Наш метод, основанный на анализе кривизны, наиболее эффективно подавляет запоминание в моделях любого размера... и при этом обеспечивает гораздо лучшее обобщение при работе с не сохраненными ранее данными», — отметили исследователи.
Отключение частей ИИ дало неожиданный эффект. Хотя общие способности к решению задач сохранились, серьезно пострадали математические навыки и умение вспоминать отдельные факты.
«Арифметика и воспроизведение фактов из памяти в большей степени опираются на компоненты низкой кривизны и сильнее всего страдают от вмешательства, а логические рассуждения с опорой на контекст и без использования чисел в основном сохраняются, а в некоторых случаях даже улучшаются», — уточнили авторы.
Пути к повышению безопасности ИИ
Точное понимание принципов работы ИИ станет ключом к повышению его безопасности и завоеванию общественного доверия. Одна из проблем моделей с запоминанием — риск утечки приватной информации или защищенных авторским правом текстов. Кроме того, в процессе запоминания модель может усвоить вредные стереотипы или токсичный контент.
Этих проблем можно избежать, если инженеры научатся точечно находить и удалять механизмы простого заучивания, не затрагивая общий интеллект системы. Понимание устройства «дорожек» памяти также позволит сделать модели ИИ более эффективными и дешевыми в эксплуатации за счет оптимизации используемого ими сетевого пространства.
Ученые заглянули в недра искусственного интеллекта
Исследование: большинство ИИ-чат-ботов легко обмануть, заставив давать опасные ответы
Подписывайтесь и читайте «Науку» в Telegram