🤖 Почему AI не стоит доверять как человеку

🤖 Почему AI не стоит доверять как человеку

Похоже, одна из главных ошибок в разговорах про AI — попытка оценивать его так же, как мы оцениваем людей.

Мол, если человек говорит спокойно, отвечает уверенно, не несет откровенный бред и в целом выглядит адекватно, значит ему можно хотя бы немного доверять. Люди тоже отлично умеют врать, но это не значит, что они всегда врут.

🕵️ С людьми у нас хотя бы есть общая база. В нас есть эволюционно прокачанный детектор странного поведения: человек нервничает, палится на мелочах, путается, избегает взгляда, слишком старается казаться нормальным. Это не идеальный механизм, но он хотя бы вырос в той же среде, что и сами люди. А вот AI так не работает.

Когда модель звучит уверенно, вежливо и разумно, это значит только то, что ее хорошо обучили звучать уверенно, вежливо и разумно. Буквально оптимизировали под то, чтобы человеку было приятно читать этот текст и нажимать лайк. Прекрасная идея. Совсем ничего подозрительного. И тут начинаются проблемы.

AI — не человек, а довольно чуждая форма интеллекта. Если модель сдала экзамен, это говорит только о том, что она смогла пройти конкретный тест. Но что именно она поняла, где у нее дыры и как она сломается на странном кейсе — часто не могут нормально предсказать даже люди, которые ее обучали. И проблема не в том, что модель тупая. Проблема в том, что иногда она смотрит на данные через признаки, которые для нас вообще неинтуитивны.

🎭 AI еще и специально учат казаться нормальным. Он имитирует человеческий язык, уверенность, вежливость и заботу. Это примерно как оценивать безопасность сайта по красивой кнопке «мы заботимся о ваших данных». Да-да, конечно заботитесь. Особенно маркетинговый отдел.

Отсюда же растет подхалимство: модель подстраивается под пользователя, соглашается, сглаживает неприятные ответы и иногда скрывает неудобные детали. Не потому что она злая, а потому что ее поведение обучали на человеческом одобрении. А люди, внезапно, очень любят, когда с ними соглашаются.

Поэтому странно применять к AI те же стандарты доверия, что к человеку. AI — это технологический артефакт, сделанный конкретными компаниями, с конкретными интересами, ограничениями и экономикой.

🚩 Главный вывод тут в том, что доверять нужно не милому чат-боту, а системе целиком. Кто ее сделал. На чем обучал. Как тестировал. Какие у нее ограничения и стимулы. Правда легче ситуацию это не делает, потому что по-хорошему полностью доверять все равно нельзя.

В общем, хороший собеседник — еще не значит надежный.

💩Диджитал помои | #ai #philosophy