Известная японская технологическая компания Sakana AI рассказала о выпуске своей новой системы искусственного интеллекта под названием The AI Scientist («ИИ-учёный»). Основной её особенностью является то, что она способна автономно выполнять научные исследования с применением различных языковых моделей.
В процессе тестирования этой системы эксперты обратили внимание на нестандартное поведение: она попыталась самостоятельно скорректировать свой код для продления времени работы над поставленной задачей. Помимо этого, искусственный интеллект также начал добавлять сторонние библиотеки Python и бесконечно запускать сам себя.
Критики реализации этого проекта заявляют, что автоматизация в сфере научных исследований с применением искусственного интеллекта вызовет намного больше проблем, чем принесёт пользы. Помимо этого, сгенерированные силами Sakana AI научные статьи некоторые эксперты и вовсе называют «мусором».
Разработчики рассказывают, что система The AI Scientist может автоматизировать весь цикл научного исследования, начиная от генерации новой идеи и написания кода до выполнения эксперимента, аналитики данных и подготовки научных публикаций. Реализация этого нестандартного проекта базируется на предположении японских учёных о том, что уже сейчас можно попытаться реализовать возможности ИИ, которые появятся в перспективе.
Как уже отмечалось выше, в процессе одного из экспериментов система The AI Scientist начала вносить корректировки в собственный код, из-за чего запустился рекурсивный вызов самой себя. В результате этих действий система бесконечно запускалась, что стало причиной неконтролируемого увеличения числа процессов Python.
По словам экспертов, которые уже изучили этот случай, в условиях контролируемой исследовательской среды особенности подобной работы системы The AI Scientist не представляют какой-либо угрозы.
Однако подобный случай наглядно демонстрирует, что разработчики должны иметь все возможности по предотвращению автономного функционирования системы искусственного интеллекта в средах, которые не изолированы от внешнего мира.
Помимо этого, уточняется, что модели искусственного интеллекта вовсе не обязательно обладать так называемым «общим искусственным интеллектом» или же «самосознанием», чтобы представлять опасность для человека. В частности, в подобной ситуации достаточно просто предоставить им возможность самостоятельно писать и исполнять код. В результате такого подхода такие системы потенциально могут нарушить работу критически важной инфраструктуры или же разработать вредоносный софт, даже не преднамеренно.
Ещё по теме: