Бурый

Задал Gemini один вопрос про свою компанию, получил спокойный правильный ответ и чуть не закрыл вкладку. А потом задал тот же вопрос ещё раз — и ответ поплыл: модель описала другую компанию, с похожим названием. После этого я перестал верить одному вопросу. Спрашиваю с названием компании три раза, у двух-трёх сервисов, и сверяю ответ с сайтом по четырём сигналам. Уходит минут двадцать — не измеренная величина, а моя прикидка по времени самой процедуры. Три раза — не суеверие. Я прогнал один вопрос через шесть моделей по три раза, вышло 18 ответов про одну компанию, замер 17 августа...

17 августа я задал ChatGPT и Алисе AI двадцать вопросов, которые задаёт человек, выбирающий подрядчика. Каждый — трижды подряд. Получилось 60 ответов с одной стороны и 60 с другой, и совпали они куда меньше, чем я ждал. За все 60 ответов ChatGPT назвал 17 разных компаний. Алиса AI — 14. Общими оказались 12: NeuroReach, Пиксель Плюс, Digital Geeks, Head Promo, Ашманов и партнёры, Demis Group, Impulse, Rush, Vverh, AiSEO, PRO ADVERT, GEOSEO. У ChatGPT засветились компании, которых Алиса не назвала ни разу: Divitio, GeoScout, HumansWith...

Структурированные данные придумали для поисковиков, но у них появилась вторая работа: объяснять языковой модели, что за объект перед ней. Без этого модель собирает факты о компании как получится — и регулярно путает её с похожей по названию. Из обычного текста модель извлекает факты с потерями: не понимает, где адрес компании, а где адрес партнёра, приписывает чужие продукты, сливает две организации в одну. Разметка фиксирует однозначные ответы: кто это, что это, когда обновлено, кто автор. Она не заменяет содержание — она убирает разночтения...

Услугу продают уже десятки студий, а проверить её на входе почти невозможно: стандартов нет, отчётность каждый рисует свою. Собрал пять вопросов, которые задаю сам, когда смотрю чужое предложение. Отвечают на них по-разному, и по ответам сразу видно, кто измеряет, а кто рассказывает. Ответ «мы смотрим ChatGPT» означает срез по одному каналу из пяти. Бренд спокойно бывает заметен в ChatGPT и полностью отсутствует в Алисе AI: это разные системы с разными источниками. Рабочий минимум — четыре системы: ChatGPT, Алиса AI, Perplexity, Gemini...

Все проверяют себя в ChatGPT. Спросил, что он про тебя знает, увидел более-менее приличный ответ — выдохнул, порядок. Я сам так делал, пока по работе не пришлось прогнать один и тот же бренд сразу через пять нейросетей. И вот тут стало неуютно. Мысль, к которой я пришёл: ChatGPT давно не единственная нейросеть, к которой ходят люди. Gemini за пару месяцев прибавил в разы и подпирает лидеров, Perplexity любят за ссылки на источники, у Алисы своя огромная аудитория в рунете. Люди спрашивают про бизнес там, где им удобно, — а не только в том сервисе, который проверяете вы...