Уже глупо отрицать, что ИИ плотно входит в нашу повседневную жизнь. С его помощью делают музыку, картинки, пишут тексты (кто-то вообще говорит, что я - вовсе не Михаил, а AGI M1GKH41L). И все чаще слышны опасения, мол "ИИ такой мощный - а что будет, если он вырвется из-под контроля?".
Давайте выясним, сможет ли ИИ выйти из-под контроля, какие механизмы защиты есть у кожаных людей, и как вообще это все работает?
Начнем с основ. Что такое ИИ?
Если говорить очень просто, то это алгоритм, который позволяет машине имитировать когнитивные функции человека, вроде обучения, рассуждения, "человеческого" взгляда на проблему и поиск решения. Хотя большинство современных ИИ-моделей - это именно что "алгоритм", которому выдают огромное количество данных, показывают закономерности, и в дальнейшем алгоритм уже сам учится находить эти закономерности.
Приведу простой пример: на столе стоит чашка. Человек смотрит на нее, и понимает, что если чашку со стола уронить, то она, скорее всего, разобьется. Это - наш опыт, понимание, и здравый смысл. ИИ же понимает это по-другому. В его "голове" есть только формула "чашка падает = разбивается с вероятностью 95%".
Если еще проще, то человек - понимает, а ИИ - знает.
Как обучаются нейронные сети?
А если проще, то "как они работают с данными?".
Машинное обучение - это когда алгоритм учится по мере поступления новых данных. У него есть условные "кнут" и "пряник", таким образом, контролируется поведение модели.
Нейросети - это модели машинного обучения, структура которых похожа на структуру мозга. Они состоят из "как бы нейронов", которые связаны друг с другом.
Глубокое обучение - это когда модель использует глубокие нейронные связи, и способна анализировать данные. Я тут все пишу достаточно простым языком, так что ИИ-спецы - заранее извините за такое упрощенное объяснение. Нам же важен принцип.
Соответственно, ИИ может учиться как с помощью человека (когда нейросети выдают данные, уже размеченные человеком, где для каждого примера указан правильный ответ), так и без его помощи (в таком случае, он самостоятельно анализирует информацию на основе своей логики и предыдущих результатов).
Однако в любом случае, это алгоритм, который может комбинировать свои результаты, но принципиально новых данных от него не получить.
Если так, то откуда берутся те самые "галлюцинации" ИИ?
Кто-то воспринимает их как "сознание" машин, но на практике, "галлюцинации" - это ошибка или предвзятость в данных. ИИ не осознает себя, это алгоритм, который делает выводы не по принципу понимания, а по принципу "100 раз до этого, ответ был "да" - значит и сейчас ответ "да".
Отсюда берутся недостоверные факты, когда ИИ, например, может выдумать научную статью, может выдавать разные ответы на один и тот же вопрос с разными формулировками, и выдавать бессмысленный текст. Я уже объяснял, как работает ИИ, и даже экспериментировал с ним, представившись, что я - ИИ из будущего. Ссылки дам в конце этой статьи, если их там нет - надо пнуть автора в комментариях.
Так вот, галлюцинации возникают не потому что "понимание", а потому что в данных, на которых обучался ИИ, есть ошибки. Так уж вышло, что люди, которые пишут алгоритмы, и люди, которые создают данные для обучения этого алгоритма - это люди. С определенной позицией, с определенными взглядами, и так далее. Проще говоря, в данных есть предвзятость, которую перенимает ИИ, а сами эти данные могут быть неполными или недостаточными.
Поэтому ИИ старается генерировать правдоподобный текст (а не правду), может воспроизводить предвзятости и неточности, словом, какие данные модели дали, такой и будет результат.
А что, если галлюцинации - это сознание?
В таком случае, мы, кожаные, еще поборемся за свой мир. У нас есть довольно много "рубильников" и систем защиты, которые не позволяют ИИ делать все, что он сам себе напридумывает.
Так, первая степень безопасности - это очистка данных от информационного мусора и "плохих" примеров. Удаление предвзятой или устаревшей информации (как правило, с использованием разных источников), добавление других примеров для анализа.
Совершенствуются не только данные, но и алгоритмы. Так, вводятся более надежные архитектуры нейросетей, в которых уделяется внимание устойчивости к галлюцинациям. Также внедряются механизмы самоконтроля, и используются методы регуляризации, чтобы не допустить "переобучения" модели и повысить ее способность к обобщению.
В критических сферах, работу ИИ контролирует человек. То есть все данные и всю информацию, которую выдает модель, проверяют люди. На данном этапе, ИИ не может работать "вместо" человека - работают они только вместе.
А еще ИИ технически ограничен. У него есть инструкции и запреты, а доступ к данным четко регламентирован, и ИИ просто не сможет получить больше, чем хотят люди.
В крайнем случае, у любого ИИ есть "рубильник", который полностью его отключает.
Как повышается безопасность ИИ?
Если вам мало вышеописанного, и вы считаете эти ограничения "топорными", то да, они такие и есть, ибо направлены скорее на безопасность, нежели на наше понимание того, как работает программа. Хотя как раз понимание и могло бы привнести в эту отрасль спокойствие (мы ведь обычно боимся того, чего не понимаем).
Поэтому все чаще слышно словосочетание "объяснимый ИИ". Если просто, то инженеры изучают работу модели, чтобы понимать - как она принимает решения. Таким образом, можно выявлять предвзятости и неточности.
А еще ИИ-системы постоянно мониторят, чтобы быстро выявлять аномалии и угрозы. Регулярно проводят аудиты, чтобы оценить соответствие моральным и этическим нормам.
Да и государства в последнее время поняли, что ИИ - не только рабочий инструмент, но и потенциальная опасность. Поэтому вводятся проверки компаний, занимающихся искусственным интеллектом, а сами эти компании "на карандашике" в большинстве развитых стран.
До создания "неподконтрольного" ИИ нам еще далеко
Это я имею в виду как AGI (действительно "интеллект", а не алгоритм), так и тот факт, что нам всегда придется контролировать ИИ. Люди никуда не денутся ни из творческих профессий, не пропадут пилоты, словом - есть не так уж много мест, где ИИ сможет работать вместо человека и без его контроля.
А контроль будет, и его методы тоже будут совершенствоваться, вместе с улучшением моделей. Как мы уже поняли, страх перед ИИ имеет под собой основания, но люди в силах не допустить выхода ИИ из-под контроля.
Галлюцинации - это программный сбой. Неприятно, но решаемо. Сознания у ИИ нет, зато есть многочисленные механизмы защиты, так что я бы не стал бояться сценария "Матрицы".
Ссылки на материалы, которые обещал:
А как вы считаете, сможет ИИ когда-нибудь выйти из-под контроля, или нет?
