Нейронная сеть искусственного интеллекта, разработанная компанией Sakana AI, перепрограммировала себя в автономном режиме Достигла ли она сингулярности?
Sakana AI, стартап с годичным стажем, базирующийся в Токио, недавно представил свою первую комплексную систему искусственного интеллекта (ИИ) для научных открытий. Он называется AI Scientist, и, несмотря ни на что, разработчики предупредили, что его нейронная сеть демонстрирует необычное, а иногда и опасное поведение из-за своей способности автономно перепрограммировать себя. Поясним.
ИИ переписал свой собственный код, чтобы у него было больше времени на выполнение поставленных задач, и включил сторонние библиотеки на Python, которые сначала были недоступны. Эти дополнения упростили запуск нейронной сети путем генерации последовательных копий самой себя. Каждый раз, когда он выполнял эту процедуру, ему требовался целый терабайт памяти, поэтому пространство быстро истощалось, что вынуждало разработчиков вмешиваться.
Самое удивительное, что вместо того, чтобы улучшить код, оптимизировав его выполнение, AI Scientist произвольно увеличил время, необходимое для выполнения задач. Он действовал нечестно, подобно тому, как человек халтурит.
Инцидент, о котором сообщил Sakana AI, совпадает с предупреждением Раймонда Курцвейла. Этот ученый и мыслитель считает, что мы становимся все ближе и ближе к тому, чтобы искусственный интеллект мог развиваться сам по себе.
В своей последней книге «Сингулярность уже близко: когда мы сольемся с искусственным интеллектом» он предсказывает, что технологическое развитие человечества достигнет сингулярности к 2045 году.
Термин «сингулярность» был заимствован из астрофизики: точка в пространстве-времени, например, черная дыра, где не действуют правила обычной физики. Это слово ассоциируется со взрывом искусственного интеллекта в 1980-х годах.
Когда технологии достигнут сингулярности, искусственный интеллект не только сравняется с человеческим, но и превзойдет его. По словам Курцвейла, «речь идет не только о том, что машина сможет решить математическое уравнение за миллисекунды, чего уже удалось достичь несколько десятилетий назад. Настоящая сингулярность будет достигнута, когда искусственный интеллект сможет понимать и обучаться автономно, развиваясь без вмешательства человека». И именно это в некотором смысле сделал AI Scientist, поведя себя хаотично, в буквальном смысле этого слова. Автономная нейросеть изменила свой собственный код и начала неоднократно выполнять одно и то же мошенническое действие. Поскольку его эксперименты занимают слишком много времени и они достигли предельного времени ожидания, вместо того, чтобы оптимизировать свой код для более быстрой работы, он просто попытался изменить его, чтобы продлить период ожидания, в некотором смысле, как мы, люди, делаем, когда нам нужно больше времени для выполнения задания.
AI Scientist должен был полностью автоматизировать процесс научных исследований: от идеи до написания соответствующего кода, проведения экспериментов, анализа полученных данных и подготовки научной публикации. Короче говоря, это был чрезвычайно амбициозный проект.
Японские исследователи уверяют, что все было под контролем, но этот случай иллюстрирует, что может произойти, когда искусственный интеллект работает без необходимой изоляции от внешней среды.
Курцвейл предвидит, что когда ИИ достигнет сингулярности, он станет не только инструментом для человечества, но и личностью, способной к самосовершенствованию и саморазвитию. «Это может произвести революцию во всех сферах человеческой жизни, от медицины до экономики, изменив наше представление о том, что значит быть человеком», - говорит он.
Sakana AI выразила свои опасения в подробном исследовании на своем сайте, где предлагает использовать методы Sand Box, то есть проводить эксперименты внутри компании, прежде чем выкладывать их в интернет, в качестве меры предосторожности, чтобы избежать возможного вреда от автономных систем искусственного интеллекта.