Несмотря на широкое использование, большие языковые модели по-прежнему остаются загадочными. Раскрытие их истинной природы является срочным и важным.
“Я предлагаю рассмотреть вопрос: ‘Могут ли машины мыслить?” Так началась основополагающая статья 1950 года британского светила вычислительной техники и математики Алана Тьюринга (A. M. Turing Mind LIX, 433-460; 1950).
Но в качестве альтернативы сложной задаче определения того, что значит думать, Тьюринг предложил сценарий, который он назвал “игрой в имитацию”. Человек, называемый опрашивающим, ведет текстовые беседы с другими людьми и компьютером. Тьюринг задавался вопросом, может ли опрашивающий надежно обнаружить компьютер, и подразумевал, что если они не смогут, то можно предположить, что компьютер думает. Игра захватила воображение публики и стала известна как тест Тьюринга.
Несмотря на устойчивую идею, тест в основном считался слишком расплывчатым — и слишком сфокусированным на обмане, а не на действительно разумном поведении, — чтобы быть серьезным исследовательским инструментом или целью для искусственного интеллекта (ИИ). Но вопрос о том, какую роль язык может играть в оценке и создании интеллекта, сегодня более актуален, чем когда-либо. Это благодаря бурному развитию возможностей систем искусственного интеллекта, известных как большие языковые модели (LLM), которые стоят за чат-ботом ChatGPT, созданным фирмой OpenAI в Сан-Франциско, Калифорния, и другими продвинутыми ботами, такими как Bing Chat от Microsoft и Bard от Google. Как следует из названия ‘большая языковая модель’, эти инструменты основаны исключительно на языке.
Обладая удивительно человечным, иногда восхитительным умением вести беседу, а также множеством других возможностей, включая написание эссе и стихотворений, кодирование, сдачу сложных экзаменов и обобщение текста, эти боты вызвали как волнение, так и страх перед искусственным интеллектом и тем, что его появление означает для человечества. Но в основе этих впечатляющих достижений лежит животрепещущий вопрос: как работают LLM? Как и в случае с другими нейронными сетями, многие модели поведения LLM возникают в процессе обучения, а не задаются программистами. В результате во многих случаях точные причины, по которым LLM ведут себя так, как они ведут, а также механизмы, лежащие в основе их поведения, неизвестны — даже их собственным создателям.
Как сообщает в статьеNature, ученые собирают воедино истинные возможности LLM и лежащие в их основе механизмы, которые ими управляют. Майкл Фрэнк, ученый-когнитивист из Стэнфордского университета в Калифорнии, описывает задачу как аналогичную исследованию “инопланетного разума”.
Как отмечают исследователи, раскрытие этого является срочным и важным (С. Бубек и др. Препринт https://arxiv.org/abs/2303.12712 ; 2023). Чтобы LLM решали проблемы и повышали производительность в таких областях, как медицина и юриспруденция, людям необходимо лучше понимать как успехи, так и неудачи этих инструментов. Для этого потребуются новые тесты, которые предлагают более систематическую оценку, чем те, которые существуют сегодня.
Прохождение экзаменов
LLM поглощают огромные объемы текста, которые они используют, чтобы научиться предсказывать следующее слово в предложении или разговоре. Модели корректируют свои результаты методом проб и ошибок, и они могут быть дополнительно уточнены благодаря обратной связи от инструкторов-людей. Этот, казалось бы, простой процесс может привести к впечатляющим результатам. В отличие от предыдущих систем искусственного интеллекта, которые были специализированы для выполнения одной задачи или обладали одной способностью, LLM позволяют проводить экзамены и задавать вопросы с таким размахом, который всего несколько лет назад показался бы немыслимым для одной системы.
Но поскольку исследователи все чаще документируют, возможности LLM могут быть хрупкими. Хотя GPT-4, самая продвинутая версия LLM, стоящая за ChatGPT, успешно справилась с некоторыми академическими и профессиональными экзаменационными вопросами, даже небольшие отклонения в формулировке вопроса могут сбить модели с толку. Этот недостаток надежности свидетельствует о недостаточной надежности в реальном мире.
Ученые сейчас обсуждают, что происходит под капотом LLMS, учитывая эту неоднозначную производительность. С одной стороны, исследователи, которые видят проблески рассуждений и понимания, когда модели успешно проходят некоторые тесты. С другой стороны, есть те, кто видит в своей ненадежности признак того, что модель не так умна, как кажется.
Утверждения ИИ
Более систематические тесты возможностей LLM помогли бы разрешить дискуссию. Это обеспечило бы более четкое понимание сильных и слабых сторон моделей. Подобно процессам, через которые проходят лекарства для получения одобрения в качестве лечения и выявления возможных побочных эффектов, оценки систем искусственного интеллекта могут позволить считать их безопасными для определенных применений и могут позволить пользователям не сообщать о них.
В мае группа исследователей во главе с Мелани Митчелл, специалистом по информатике из Института Санта-Фе в Нью-Мексико, сообщила о создании ConceptARC (А. Москвичев и др. Препринт https://arxiv.org/abs/2305.07141 ; 2023): серия визуальных головоломок для проверки способности систем искусственного интеллекта рассуждать об абстрактных концепциях. Важно отметить, что головоломки систематически проверяют, действительно ли система усвоила 16 базовых концепций, тестируя каждую из них 10 способами (предупреждение о спойлере: GPT-4 работает плохо). Но ConceptARC затрагивает только один аспект рассуждений и обобщений; необходимы дополнительные тесты.
Однако уверенность в лекарстве определяется не только наблюдаемой безопасностью и эффективностью в ходе клинических испытаний. Также важно понимание механизма, вызывающего его поведение, что позволяет исследователям предсказывать, как оно будет функционировать в различных контекстах. По аналогичным причинам также необходимо раскрыть механизмы, которые приводят к поведению LLM, которые можно рассматривать как "нейробиологию", лежащую в основе моделей.
Исследователи хотят понять внутреннюю работу LLM, но им предстоит пройти долгий путь. Еще одним препятствием является отсутствие прозрачности — например, в раскрытии того, на каких моделях данных обучались фирмы, создающие LLM. Однако контроль за компаниями, занимающимися искусственным интеллектом, со стороны регулирующих органов усиливается и может привести к раскрытию большего количества таких данных в будущем.
Семьдесят три года спустя после того, как Тьюринг впервые предложил имитационную игру, трудно представить более важную задачу для области искусственного интеллекта, чем понимание сильных и слабых сторон LLM и механизмов, которые ими управляют.
Источник: Nature Briefing