Про то, что нейросети можно использовать вместо обычных поисковиков, я впервые услышал еще года 2 назад и сразу же решил попробовать. Что я тогда искал, уже не помню, но, в связи со спецификой своей работы что-то связанное с нормативной документацией. Результат получился совершенно неадекватный, я сделал для себя соответствующие выводы и достаточно долго к этому вопросу не возвращался.
И вот несколько месяцев назад коллега мне стал рассказывать, как здорово сейчас ищет информацию deepseek. И даже на самом деле мы с ним по одному из интересующих вопросов (хроматографическое определение некоторого вещества) нашли весьма подробную информацию с примерами. Ну думаю – прогресс не стоит на месте, наверное, такой большой скачок сделали нейросети за это время. Надо пробовать!
И попробовал … Вопрос, как мне показалось, для нейросети просто идеальный – требуется ли сертифицировать оборудование одновременно по ТР ТС 004 и ТР ТС 012? Я-то точно знал, что не требуется, но мне нужна была ссылка на конкретные документы, где это написано. В успехе мероприятия я ни разу не сомневался – собрать информацию по четко сформулированным документам в открытом доступе, чего уж тут проще то. Однако результат меня очень неприятно удивил.
Сразу должен оговориться, с того момента прошло некоторое время, и ответы нейросетей, приведенные на снимках ниже, отличаются от тех, которые я получил в первый раз, но на тот момент я пробовал повторить запрос несколько раз и получал совершенно одинаковые ответы.
И так, поехали. На вопрос отвечает deepseek:
Дает совершенно неверный ответ. Правда, далее добавляет небольшую оговорку. Мне кажется, в прошлый раз её не было, но правильным ответ она все равно не делает:
Немного отойдя от шока, вспомнил, что положение о невозможности одновременной сертификации содержится в самих же регламентах. Далеко даже искать не пришлось - прямо в области определения ТР ТС 004:
Но что же по этому поводу скажет искусственный разум? Даю ему прямую и однозначную подсказку:
Вот оно, вроде бы, хоть с подсказкой да справился. Но нет, далее он продолжает гнуть свою линию, хоть уже и прямо противоречащую выявленным нормативным требованиям:
Тут уже даже выделять ничего не стал, совершенно лютый бред. А вот с Алисой от Яндекса ситуация оказалась куда более интересной. Месяц назад она точно также выдала, что надо проходить сертификацию по обоим регламентам. Причем никакими дополнительными вопросами, в отличие от deepseek, вразумить её на тот момент не удалось. Жалко тогда не сделал снимка экрана, по тому что сейчас данную ситуацию воспроизвести не удалось - ответ оказался намного более вероятным. Несмотря на то, что Алиса не отвергла саму возможность двойной сертификации (по факту такой сертификат ни один орган по сертификации не выдаст), но далее дала более-менее адекватное описание существующей ситуации:
Оставим на совести Алисы то, что ответ содержит внутреннее противоречие, но, по крайней мере, он значительно ближе к правильному и при критическом восприятии позволяет правильно оценить ситуацию. А уточняющий вопрос вообще позволил получить совершенно верный ответ без отвлеченных рассуждений:
Вразумить же deepseek, на этот раз так и не удалось:
Продолжая отходить от шока, попробовал протестировать обе нейросети на нескольких простых вопросах - попросил их перечислить российских производителей взрывозащищенного электрооборудования и парусных яхт. Ответы приводить не буду, чтобы излишне не раздувать статью, но отмечу, что в обоих случаях они свелись к совершенно случайной выборке из нескольких производителей. В случае с производителями парусных яхт, которых мало, было даже немного похоже на правду, не считая того, что некоторых нейросети пропустили, а вместо них включили тех, кто на данный момент их не производит. А вот по взрывозащищенному оборудованию все оказалось совсем грустно - перечислены несколько производителей какого-то мало распространенного оборудования, а вот ведущие предприятия, которых всего то штук 5, в выборку не попали.
ChatGPT тестировать не стал, не охота заморачиваться с ВПН-ом, не думаю что он чем-то принципиально отличается. На мой взгляд, приведенные примеры очень наглядно показывают, как работает поиск нейросетей. На данный момент они не умеют приоритетизировать источники информации и склонны додумывать многое от себя. Фактически их ответ — это не информация, а сборник слухов, дополненный воображением, которому позавидовал бы и Барон Мюнхгаузен.
И что самое страшное - если классический поисковик дает ссылки на конкретные материалы, достоверность которых пользователь может оценить, то нейросеть склонна давать очень уверенный и однозначный, но при этом порой совершенно неверный ответ.
Я думаю, что вполне реально сделать нейросеть хорошо решающую узкоспециализированные задачи, такие как поиск по нормативным документам, ответ на юридические вопросы и т.д. Возможно, даже такие уже существуют. Однако доверять нейросетям общего профиля в вопросах, требующих точных знаний, на данный момент однозначно нельзя.
Изначально хотел сгенерировать заглавную иллюстрацию с помощью искусственного интеллекта, раз уж о нем тут речь, но не смог добиться желаемого результата, по этому просто взял подходящую картинку из поиска.
Заглавную иллюстрацию сгенерировал с помощью нейросети, раз уж тут о них речь. Правда, добиться результата, которого хотел, не смог, но пусть будет.