Anthropic обнаружила у нейросети Claude «мозг» — скрытое пространство осознанных мыслей
Исследователи Anthropic обнаружили в языковых моделях скрытое пространство внутренних представлений, которое по своим функциям отчасти напоминает осознанно доступные мысли человека. В новой работе компания описала небольшой набор нейронных паттернов, играющих особую роль в обработке информации и рассуждениях модели. Это пространство исследователи назвали J-space. Обнаружить его удалось с помощью метода J-lens, основанного на математическом понятии якобиана. Для каждого токена из словаря модели, то...
