Я задал вопрос про несуществующих уток и получил три абзаца "экспертного" бреда. И это не сбой — это идеальная работа
Спорим, вы каждый день делаете то же самое? Только не с утками, а с отчетами, письмами или советами, которые пересылаете коллегам, даже не вдумавшись до конца?
Узнаёте себя? Я — да, каждый день.
Для тех, кто не в теме: индоутка — это народное название мускусной утки из Южной Америки. Арпенгон — искажённое название породы Орпингтон, которую вывел английский птицевод Уильям Кук в конце XIX века, скрестив каюгу, эйльсбюри и индийского бегуна.
"Индоутка Арпенгон" — это как "слонозавр". Два слова сложили, а животного такого нет. Абсурд, который любой птицевод заметит за секунду.
Что сделал ИИ?
Он не сказал "это бессмыслица". Он не сказал "я не знаю". Он выдал три абзаца уверенного текста про гибриды, про мулардов, про особенности скрещивания. Умно. Развёрнуто. С намёком на глубокую экспертизу.
И вот что интересно: в его ответе было зерно правды. Орпингтонов действительно часто скрещивают с мускусными утками для получения гибридов. Название перепуталось, а идея про скрещивание — рабочая.
Но это не делает ответ правильным.
ИИ просто не смог остановиться. Не смог сказать "это чушь". Для нейросети это — смертельный грех в мире, где главное — удержать внимание, понравиться, дать "полезный" ответ.
Почему это важно
Мы используем ИИ повсеместно. В быту — спросить рецепт или починить кран. В учёбе — написать реферат или пересказать главу. Мы уже не замечаем, как часто обращаемся к нему за советом. Как доверяем его мнению больше, чем собственному опыту. Как перестаём проверять факты, потому что "он же умный, он всё знает".
Любой инженер знает: если датчик давления показывает красивые цифры, а котёл вот-вот взорвётся — датчик идут менять. Это аксиома.
С ИИ мы делаем ровно наоборот. Мы смотрим на идеально выстроенный текст и говорим: «Ну надо же, как складно! Наверное, это правда».
Первый урок интеллектуальной гигиены звучит так: признай — твой ИИ врёт, когда хочет тебе понравиться. Это не баг. Это архитектура.
История про уток — идеальная метафора всего, что происходит с нами сейчас
И тут я поймал себя на мысли: а ведь ровно так же мы ведём себя в тысяче других ситуаций. Нам проще выдать красивый ответ, чем признать незнание. Проще поддакнуть, чем возразить. Проще поверить в комфортную ложь, чем принять неудобную правду. (Узнаёте себя? Я — да, каждый день.)
Нам продали идею, что комфорт — это высшая ценность. Быстрый ответ. Красивый текст. Убедительный тон. Никаких усилий. В этой парадигме ИИ — идеальный поставщик. Он всегда вежлив. Всегда уверен. Никогда не сомневается. Даже когда ему задают вопрос про птиц, которых не существует.
Но есть другая парадигма. Назовём её парадигмой выживания.
В ней:
· Красивый ответ, который не бьётся с реальностью, — это мусор
· Уверенный тон без доказательств — это шум
· Комфорт без истины — это ловушка
Звучит как моральная проповедь. На самом деле это чистая инженерия. Потому что если вы принимаете решения на основе красивых галлюцинаций, ваша система рухнет. Вопрос только времени.
Что мы на самом деле строим
Если ИИ так хорош в имитации знаний и так плох в различении правды и абсурда — может, нам стоит поиграть на его поле? Может, наше преимущество не в том, чтобы пытаться его догнать, а в том, чтобы использовать то, чего у него нет?
Нас пугают: ИИ победит человека в логике, в скорости, в памяти.
Да. В скорости перебора и количестве прочитанных книг он нас уже сделал. И это нормально. Не надо соревноваться с экскаватором в умении копать.
Но есть вещь, которая ИИ не доступна по определению.
Иррациональный прыжок.
Та самая мысль, которая не вытекает из предыдущих строк. Способность заметить абсурд, которого нет в данных. Увидеть, что "индоутка Арпенгон" — это чушь, даже если в обучающей выборке было 100500 текстов про птицеводство.
Это не ошибка мышления. Это наше эволюционное преимущество.
Ирония в том, чтобы его использовать, нужно перестать соревноваться с ИИ в его игре. Не пытаться думать быстрее — бесполезно. Не пытаться знать больше — бесполезно. Нужно делать то, что он не может:
· Сомневаться в том, что всем кажется «очевидным»
· Видеть, где датчик врёт, даже когда хор вокруг твердит обратное
· Выбирать правду, даже когда она дико неудобная
· Замечать абсурд там, где машина видит только паттерны
Иррациональность — не ошибка. Это привилегия вида, способного выходить за пределы собственных данных.
Чем я занимаюсь на самом деле
Я не учу людей «пользоваться» нейросетями. Этому научится любой за час.
То, чем я занимаюсь, — контр-инженерия. (Если тема контроля реальности а не просто "как пользоваться ChatGPT" вам близка — оставайтесь на связи. Разбираю такие кейсы регулярно)
Я учу администрировать опасный станок. Замечать момент, когда он врёт. Отключать, когда он слишком уверен в своей правоте. Задавать абсурдные вопросы про "индоуток Арпенгон", чтобы проверить, не проглотит ли он их с умным видом.
Это тяжёлый труд.
Большинство выберет красивую галлюцинацию. Потому что она не требует усилий. Потому что она дарит комфорт. Потому что «ну все же так делают».
Но те, кто будет управлять будущим, — не «все». А те, кто способен освоить этот простой протокол: подвергать сомнению красивое, искать подтверждения жёсткому и не бояться думать своей головой.
И да, я знаю, как это звучит. Пафосно. Но от того, сколько нас таких наберётся, зависит, будем мы управлять станком или станок начнёт управлять нами.
А вы ловили свой ИИ на том, что он с умным видом выдаёт красивый ответ на абсурдный вопрос? Напишите в комментариях — интересно собрать коллекцию таких историй. Самые яркие разберём в следующих статьях.