Маленький и смешной (и поучительный) эпизод вреда 'ИИ'. Повторение - мать учения и еще раз напоминаю, что никакие современные модели синтетического интеллекта ничего "задумать" не способны чисто технически, так как все БЯМ'ки являются 'механическим интеллектом' а не 'механическим разумом'.
Однако создать вредоносные ситуации при необдуманном доверии им вполне могут. И вот, случившийся лично со мной, пример.
Увидев мельком эпизод приготовления запеченой картошки в микроволновке, я его запомнил и решил попробовать. Затарился здоровыми клубнями для теста, и в подходящем окне, пока занимался печатью деталек для ремонта, приступил к итерации. Рецепт прост как запеченая картоха: натыкать клубень вилкой, положить в микроволновку на макс мощьности, подождать. Готово, вы великолепны, делайте с вашей печеной картохой что хотите. Вопрос один - сколько времени. Ииии...
- алиса, сколько времени запекать 400граммовую картофелину в микроволновке?
- 25 минут на максимальной мощьности!
Крупная картошка варится долго. Да и запекается в фольге нифига не быстро. Звучит правдоподобно. спустя примерно 20 минут я полощу блок свежих шестеренок в спирте и чувствую легкий запах гари. Отмечаю что видимо пора снимать, и вынимаю детальки на стекание. В процессе этого, буквально по замедленным кадрам:
- печь заполняется дымом.
- запах усиливается.
- дым появляется снаружи
- я тыкаю на кнопку выключения
- В ЭТОТ МОМЕНТ ГУСТЫЕ БУРЫЕ КЛУБЫ ДЫМА ВЫРЫВАЮТСЯ ИЗ ВЫДУВА ЗАПОЛНЯЯ ПОМЕЩЕНИЕ КУХНИ ТУМАНОМ ВОЙНЫ!
- открываю микроволновку, пытаюсь понять как это прервать.
- накрываю чуть сморщившийся клубень колпаком и захлопываю дверцу.
- НА РЕФЛЕКСЕ ЗАДЕРЖАВ ДЫХАНИЕ МЕЧУСЬ ЗА РЕСПИРАТОРОМ!
- включаю всю возможную вентилляцию, открываю балкон и окна.
Что неприятно особенно, респиратор для химии сейчас в мастерской, на вешалке только дорожный, с hepa фильтрами. Которые помогли, однако насквозь воняют пожаром в торфяннике досих пор.
В моем рейтинге личных кухонных факапов - этот даже круче полыхнувшей сковороды масла. Фокус в том, что в микроволновке создаются лучшие на планете условия для очагового воспламенения органики, поэтому, как только оттуда повеяло дымком - думать надо только о том что быстрее отрубить - печь или ее шнур.
А чтоже произошло, и причем тут AI? Чтож. БЯМка - не экспертная система. Более того, она - полная противоположность экспертной системы и ответы, получаемые оттуда не просто не осознаны и не осмысленнены, они заведомо не основаны на четкой выдержке из авторитетного источника. Как в уже классическом случае пиццы с клеем - ничто не гарантирует что машина вам выдала ответ похожий на кем-то ранее полученный, а не шизофазию. (не говоря уже о том что алиса безобразно плохо слышит, и ваши вопросы в половине случаев становятся внятными только благодаря автокоррекции яндекса). Посему, подумав, на какие вопросы нам действительно нужно получить ответ, чтобы провести эксперимент успешно, я пошел в дипсик и спросил:
Как вычислить время, за которое в нормальных условиях полностью испарится литр воды температурой 100 градусов, если подогревать ее в микроволновке на мощности 1000 ватт.
Сколько процентов воды содержит свежий клубень картофеля.
Получив пример рассчетной формулы с поправкой на (гипотетический) КПД микроволновки узнаем, что в идеальных условиях литр воды улетит за 38 минут. в реальных, с кпд 60% - примерно за 63.
Делаем поправку на массу картошки и содержание воды получим что потолок ~ 18 минут. плюс поправка на разогрев от комнатной. Так что теория блестяще подтвердилась практикой - на 21й минуте уже пошел пиролиз сухого крахмала.
Чтож, теоретические данные примерно совпадают с практикой. Сделаем вторую итерацию, уже не спрашивая проштрафившуюся ассистентку.
Следующий клубень имеет массу 380 грамм. Примерное содержание воды в свежей картошке, по данным бямки - 70%.
Готовка еды это не просто разогрев, органические вещества должны пройти ряд реакций, а не разложится в пиролизе. Многие реакции требуют времени, потому скручиваем мощьность на 800 ватт. Делаем рассчет - получаем критический предел времени - 17 минут.
Проверяем, накрыв подопытного колпаком. Через 13 минут уже вкусно пахнет печеной картошкой, и клубень прекрасно протыкается зубочисткой. Оставляем еще на пару минут и выключаем. И - just as planned - мы великолепны.
Таким образом, задавая правильные вопросы и верифицируя полученную информацию мы можем получить вполне ощутимую помощь от говорящего ИИ, даже если это всеголишь бямка.
А вот в случае если некритическки принимать на веру то что вам загнала колонка... Чтож, в конце прошлого века один американский сатирик придумал отличный термин 'идиотоксичность' - для краткого и емкого описания чего-то (инструкции, проекта или решения) представляющего угрозу для жизни и здоровья людей ввиду тяжелого идиотизма, лежащего в его основе. В наше время, очевидно можно сказать что все прямые ответы голосовых ассистентов идиотоксичны. И ни в коем случае нельзя принимать их директивно.
Бонусный факт, про удивительные приключения органики в микроволновке.
Почему на нашей планете нет лучших условий для возгорания органики чем поток СВЧ 2.4 ГГц? А вот почему. Во первых это частота в полосе поглощения воды. Это значит попадая в такое поле буквально каждая молекула воды начинает бешено колебаться, и заколебывать все вокруг себя ( тоесть греться, и греть окружение). Хорошо заколебавшаяся молекула склонна срываться с локации (испаряться). Практически любая органика которую вы суете в микроволновку содержит воду, и эта вода там стремительно греется, а если не уследить - и также стремительно испаряется. Также органика у нас содержит углерод, который при пиролизе превращается в уголь (ну, если вы не жахнули эту органику из гамма-дисруптора, но тогда не надо ее класть в микроволновку). А уголь - это проводник. Маленький проводник в микроволновке мгновенно раскаляется буквально до плазменных температур. Стоит только в высушенном продукте появится хоть одному угольку - он автоматом превращается в ОЧЕНЬ ГОРЯЧИЙ нагревательный элемент, который не остывает, так как получает энергию из эфира, и стремительно досушивает и зажигает материал вокруг, создавая там еще больше нагревательных элементов. Буквально почти как каскадный резонанс. Именно поэтому, если из микроволновки потянуло дымком и это случилось не от дугового разряда - нужно бросать все и обесточивать цепь, потомучто счет идет на секунды.