Искусственный интеллект, который осваивает язык автономно, формирует языковую структуру, аналогичную человеческой. И так же, как люди учатся у предыдущих поколений, модели ИИ может овладевать навыками под влиянием своих «старших товарищей».
Языковые модели на основе ИИ, такие как ChatGPT, становятся все лучше в имитации человеческой речи и все чаще используются для создания текстов. Но кроме этого они способны помочь нам разобраться, как развиваются человеческие языки.
Гётеборгский университет и Технический университет Чалмерса провели серию экспериментов, которые раскрывают механизмы человеческого языка и дает важные знания для развития ИИ будущего. Их результаты напечатаны в журнале Journal of Language Evolution.
В этом исследовании впервые оценивалось сочетание двух принципиально разных подходов: обучение с подкреплением, когда правильные действия поощряются и закрепляются, и итерационный — ИИ учится друг у друга из поколения в поколение.
«Мы обнаружили, что модели ИИ создали структуру, аналогичную человеческому языку, и что процесс обучения языку происходил схожим образом. Таким образом, исследование дает важные данные не только о работе ИИ, но и о том, как развиваются человеческие языки», — поделился Эмиль Карлссон, для которого это исследование стало частью докторской в Чалмерсе.
Компромисс для эффективности
Согласно господствующим представлениям в лингвистике, все человеческие языки формируются под влиянием необходимости эффективной коммуникации. Во главе угла — компромисс: язык должен быть информативным, но и достаточно простым для усвоения. Чем больше информации нужно передать, тем более детализированным должен быть язык. Классический пример: в языках холодных стран обычно больше слов для обозначения снега и льда, чем у южан.
Экспериментаторы создали ИИ-агентов, которые играли в коммуникационную игру. Им показывали цвет и список символов, изначально не имеющих значения. В процессе взаимодействия ИИ связывали эти символы с определенными цветами и делились этой информацией друг с другом.
«Мы использовали цвета, потому что существует много данных о том, как цветовой спектр называется в разных языках, включая данные из изолированных языков, никогда не контактировавших с другими. Категоризация цветов варьируется: отличается и количество слов, и то, какие части спектра они описывают», — объяснил Карлссон.
Обучение с подкреплением и обмен между поколениями
В экспериментах один ИИ-агент передавал цвет через символ из списка, а принимающий агент должен был угадать, какой цвет ему соответствует. Оба агента получали общее вознаграждение за успешную коммуникацию. Чем точнее передавался оттенок цвета, тем больше очков они получали.
В следующем этапе создавались новые поколения ИИ-агентов, а старые выводились из системы. Новые агенты изучали диалоги и язык, разработанный предыдущим поколением, а затем играли в ту же коммуникационную игру между собой.
«Идея заключалась в том, чтобы агенты сначала учили язык у предыдущих поколений, а затем развивали его, общаясь друг с другом. Это похоже на то, как двое детей учатся, слушая разговоры родителей, а затем расширяют и развивают собственный язык», — сравнил Карлссон.
Новые знания о развитии языка
В результате возникла система обозначения цветов, похожая на человеческие языки, хотя ИИ-агенты никогда с ними не сталкивались.
«Интересно, что именно сочетание решения задачи в игре с обучением у предыдущих поколений привело к эффективному языку, похожему на человеческий. Когда агенты только общались друг с другом для решения задачи, язык становился слишком сложным. А когда они только учились у предыдущих поколений без решения задачи, язык оказывался слишком примитивным», — отметил исследователь.
Ученые пришли к выводу, что способность людей общаться и учиться друг у друга критически важна для эволюции языков.
«Когда мы просто заучиваем что-то от другого человека, не понимая пользы, наша склонность развивать эти знания снижается. Но когда мы применяем усвоенное для решения задач и движения вперед — именно тогда создаются структурированные и эффективные языки», — подчеркнул ученый.
Результаты внесут вклад в лингвистику, исследования ИИ и компьютерные науки, надеется он: «Эти знания помогут лучше понять механизмы человеческих языков, а также принципы работы больших языковых моделей ИИ. Это может направить развитие ИИ в перспективное русло».
ИИ так же самоуверен и предвзят, как и люди — показало исследование
Нейросеть GPT учится как человек и даже испытывает когнитивный диссонанс: ученые