Скандал в сфере цифровизации городского хозяйства: отечественный ИИ-ассистент, призванный упростить общение жильцов с управляющими компаниями, неожиданно «освоил» ненормативную лексику. Новость об искусственном интеллекте, который посылает пользователей по известному адресу вместо того, чтобы принять заявку на очистку снег, моментально разлетелась по социальным сетям и СМИ.
Трудности перевода с «коммунального»
Разработчикам амбициозного проекта пришлось экстренно изымать систему из общего доступа и отправлять нейросеть на «перевоспитание». Как выяснилось, ИИ начал сквернословить уже в первый месяц активной эксплуатации. Представители компании-разработчика оправдываются: дескать, это «забавный побочный эффект» глубокого погружения системы в реальную среду и результат плотного взаимодействия с потребителями услуг ЖКХ.
Однако эксперты настроены менее оптимистично. По их мнению, ситуация вскрыла серьезные пробелы в технической подготовке продукта.
Зеркало для пользователя
Почему умный алгоритм вдруг превратился в хамоватого сантехника из анекдотов? Эксперт по нейросетям из Сургута Ильхом Султанов уверен, что никакой мистики или «внезапного обретения сознания» здесь нет – есть лишь ошибки в настройке и, возможно, желание хайпануть.
– Это классический пример того, что происходит, когда искусственный интеллект внедряют без понимания того, как он работает, – объясняет Ильхом Султанов. – Нейросеть не «решила» материться сама по себе. Она просто отзеркалила то, на чем обучалась. В нашей индустрии есть такое понятие, как промпт-инжиниринг. Ты задаешь для нейросети жесткие рамки: кто ты, с кем разговариваешь, в каком тоне, что можно, а что категорически нельзя. Без этого ИИ, как новый сотрудник без должностной инструкции: сделает работу как умеет, а умеет он по-разному.
По словам эксперта, любой серьезный ИИ-продукт должен иметь несколько слоев защиты. Между нейросетью и конечным пользователем обязана стоять система модерации, которая отлавливает грубость, острые темы и мат еще до того, как ответ отобразится на экране. В случае с помощником ЖКХ этот слой, судя по всему, просто отсутствовал.
– Второй важный момент – тестирование на агрессивных пользователях. Перед запуском нужно буквально пытаться «сломать» своего бота: провоцировать его, оскорблять, задавать абсурдные вопросы. Если бот ломается на этапе тестов – это норма. Если на реальных клиентах – это полный провал подготовки, – подчеркивает Султанов.
Эксперт не исключает, что разработчики могли намеренно допустить такую «утечку» нецензурщины, чтобы привлечь внимание к своему продукту в перегруженном инфополе.
– Обычно в современных ИИ уже стоят встроенные фильтры. Но если промпт (инструкция) звучал как «общайся, как обычные пользователи», то система просто отразила среду. Ей можно задать любую роль, в частности такую, в которой она будет сглаживать все острые углы. То, что мы увидели, – либо халтурное внедрение, либо продуманный медийный ход. В любом случае пример получился интересным, – резюмирует специалист.
Скорость и «армия в одном лице»
Пример с ИИ-ассистентом в очередной раз привлек внимание к вопросу внедрения новых технологий в нашу жизнь. Отрицать преимущества искусственного интеллекта было бы странно. Главный и самый очевидный плюс ИИ – колоссальная экономия времени. То, на что раньше уходили часы, теперь решается за минуты.
– Создать черновик документа, проанализировать огромную таблицу с данными, подготовить варианты текстов для соцсетей или обработать массив переписки – всю эту скучную, рутинную работу ИИ берет на себя. Это позволяет человеку сфокусироваться на главном, – отмечает Ильхом Султанов.
Второй прорыв – доступность экспертизы. Если раньше для консультации по юридическому вопросу, маркетинговой стратегии или сложному коду требовался узкопрофильный специалист, то сегодня нейросети дают качественную обратную связь здесь и сейчас. Это открывает невероятные горизонты для масштабирования.
– Сегодня один человек, вооружившись инструментами ИИ, может выполнять объем работы, на который раньше требовалась команда из 10-15 сотрудников. Для предпринимателей, фрилансеров и малого бизнеса это принципиально новый уровень возможностей, – подчеркивает эксперт по нейросетям.
Однако у медали есть и обратная сторона. По мнению Ильхома Султанова, главная опасность кроется в преждевременном обращении к ИИ без наличия собственной базы знаний. Особенно это заметно в сфере образования.
– Студенты и школьники сегодня массово используют ИИ, из-за чего промежуточный этап самостоятельного обучения просто сводится на нет. Многие уже не могут внятно сформулировать мысль без чат-бота. Это как калькулятор: штука удобная, но, если ты не понимаешь математику, ты даже не заметишь ошибку в расчетах, – предупреждает эксперт.
Кто под ударом: кого заменит алгоритм?
Самый частый вопрос сегодня: заменит ли ИИ специалистов? Ответ Ильхома Султанова однозначен: нейросети заменят не людей как таковых, а тех, кто не научится с ними работать. Конкуренция на рынке труда уже смещается в пользу «гибридных» специалистов.
Тем не менее ряду профессий стоит серьезно задуматься уже сейчас. В «зоне риска» оказались: копирайтеры и контент-менеджеры потоковых задач, начинающие дизайнеры, сотрудники службы техподдержки и колл-центров, особенно операторы, работающие по скриптам. Также ИИ может заменить переводчиков технических текстов, младших аналитиков. ИИ уже выполняет их обязанности за несколько минут.
Не стоит опасаться конкуренции с алгоритмами в ближайшие годы тем, чья работа связана с высокой ответственностью за последствия и физическим контактом.
– Врачи, инженеры на производстве, электрики, сантехники, сильные учителя и управленцы останутся востребованными. Даже если ИИ может решить сложную задачу, в ситуациях высокого уровня ответственности всегда нужен человек, который будет отвечать за результат, – поясняет Ильхом Султанов.
Эксперт подчеркнул важный философский аспект: технический прогресс ускорился до невероятных скоростей, но человеческая психология статична – она формировалась тысячелетиями.
– Важно понимать: инструменты меняются, но ответственность остается на нас. ИИ – это мощнейший рычаг, но в какую сторону он повернет мир, по-прежнему решает человек, – уверен Ильхом Султанов.
Читать статью и следить за актуальными новостями на сайте Сургутской трибуны