Исследователи выяснили, что память и логика в нейросетях работают независимо. Даже если лишить ИИ части знаний, он продолжает рассуждать почти так же точно, как прежде.
Команда из стартапа Goodfire.ai решила проверить, как устроено мышление у искусственного интеллекта. Они «отключили» часть памяти модели и посмотрели, изменится ли её способность к логическим выводам.
Чтобы сделать это аккуратно, учёные использовали математический метод K-FAC — Kronecker-Factored Approximate Curvature. Он позволяет точечно удалить данные, не разрушая структуру нейросети.
После такой «амнезии» ИИ по-прежнему знал столицы стран, но путался в именах руководителей компаний. Точность ответов в этой категории упала примерно на 78%.
Интересно, что при этом способности к математике и логическим задачам почти не пострадали. Это показало: память и рассуждения действительно можно разделить.
Учёные заметили и другую закономерность: чем чаще модель встречала информацию во время обучения, тем прочнее она её сохраняла. Редкие факты стирались легче.
Исследователи считают, что это открытие поможет создавать ИИ, который можно «обнулять» частично — стирать лишние данные, не трогая его умение думать.
Читать далее:
Вселенная внутри черной дыры: наблюдения «Уэбба» подтверждают странную гипотезу
Испытания ракеты Starship Илона Маска вновь закончились взрывом в небе
Сразу четыре похожих на Землю планеты нашли у ближайшей одиночной звезды
Обложка: freepik