84 подписчика
В мае исследователи из OpenAI решили попытаться заглянуть в «большую языковую модель - LLM»
Пусть большой ИИ (GPT-4 с числом нейроном 100+ млрд) это сделает применительно к маленькому ИИ (GPT-2, в коем нейронов всего то 300К+) [1]
Многие нейроны (внутри маленького ИИ) оказались многозначны – т.е. они реагировали на множество самых разных входных данных: смесь академических цитат, диалогов на английском языке, HTTP-запросов, корейского текста …
Если нейроны многозначны, какие же тогда более мелкие «субнейроны» соответствуют конкретным понятиям?
Ответ на этот вопрос дают исследователи из Anthropic [2]
Они полагают, что одной из причин многозначности является суперпозиция - гипотетическое явление, при котором нейронная сеть представляет больше независимых «функций» данных, чем нейроны, назначая каждой функции свою собственную линейную комбинацию нейронов
Иными словами, внутри нейронной сети любого конкретного ИИ симулируется физически не существующая нейронная сеть некоего абстрактного ИИ
И эта симулируемая нейронная сеть:
• гораздо больше и сложнее нейронной сети, ее моделирующей
• содержит симулируемые моносемантические «субнейроны» (соответствующие конкретным понятиям)
Внутри менее мощного ИИ симулируется более мощный ИИ
Менее мощный ИИ физически существует в виде сети нейронов
Более мощный – в виде сети паттернов (линейных комбинаций) активаций нейронов
• Почувствовать на практике, сколь мощный ИИ таится внутри маскирующегося под «стохастического попугая» ИИ LLM, позволяет новое исследование Главного научного сотрудника Google DeepMind проф. Шанахана и директора CHPPC_IHR проф. Кларк [3]
Объектом исследования стало якобы отсутствующее у LLM свойство разума, без которого невозможно истинное творчество – воображение
Воображение важнее знаний
Ибо знания ограничены всем, что мы сейчас знаем и понимаем, в то время как воображение охватывает весь мир и все, что когда-либо можно будет узнать и понять
Эксперимент Шанахана-Кларк заключался в проверке наличия у GPT-4 воображения, позволяющего модели проявлять художественную креативность при написании (в соавторстве с человеком) литературного текста - фантастического романа о путешествии во времени
Эксперимент показал:
• при наличии сложных подсказок и соавтора-человека, модель демонстрирует изысканное воображение
• это продукт творчества модели, ибо ничего подобного люди до нее не придумали (этого не было в каких-либо текстах людей): например, появляющиеся по ходу романа придуманные моделью
• новые персонажи и сюжетные повороты
• новые неологизмы служащие для раскрытия идейного содержания сюжета - отнюдь не бессмысленные, семантически верные и контекстуально релевантные
2 минуты
13 декабря 2023