Многабукафф про искусственный интеллект, и почти без ржаки.
Когда-то коллег пугали две огромные папки на моем столе: на первой бледно-зеленым маркером было написано "мозги", а на второй - ярко-красным: "мозги конкурентов". Сейчас они лежат где-то дома в шкафу, и уже никого не пугают: домашние привыкли ко всему.
В первой были интересные материалы от разных компаний, а во второй - материалы конкурентов. Потому что рука на пульсе - наше все.
А параноидальные иллюстрации помогут нам погрузиться в мир странного, и напомнят о том, что человеческую дурь никто не переплюнет!
Нейротонометр для рынка
Конкурентов я проверяю регулярно, часто и с удовольствием. И больше всего меня интересует динамика происходящего, а главное - их конкретная работа: что, как, почему они делают для своего продвижения.
Обычно я вручную проверяю их сайты; время от времени посещаю их производства; регулярно делаю тестовые заказы и запускаю тайного покупателя. А в этот раз подумал: ну что ж, раз пошла такая пьянка, давайте проверим конкурентов через нейросеть! И - главное - проверим меня.
Я гонял одни и те же промпты по четырем сеткам: DeepSeek, Алиса, ChatGPT, GigaChat. Делал две группы:
- экспериментальная - запрос по анализу рынка с упоминанием конкретных компаний; запрос по анализу рынка без упоминания конкретных компаний; запрос по анализу конкретных сайтов. Это - по рынку, где я работаю (рулонные газоны, ландшафтный дизайн, Москва и МО).
- контрольная - все то же самое, но не по моему рынку, а по стандартным товарам b2c (аксессуары для мобильных телефонов, Петербург и Ленинградская область).
Как мы понимаем, у этих групп товаров разные целевые аудитории, разные критерии принятия решения, разные циклы выбора. Я для того и делал одинаковые промпты по разным товарам, чтобы отследить логику анализа в разных обстоятельствах.
Итого по сетям
Схема у всех ИИ одинакова, и она явно основана на единой базе, загруженной в ИИ во время обучения. По конкурентам - отбор параметров, сравнение по очевидным пунктам, выводы на единой основе. По сайту - аналогично: подбирается список, определяются критерии, делается вывод. А вот глубина анализа у всех разная, и у всех разное отношение к уточняющим промптам.
- ChatGPT хорошо собирает данные из открытых источников, неплохо анализирует первый промпт, но начинает люто косячить на уточнениях. Если он с самого начала делает ошибку (а поначалу ошибаются все), то потом очень трудно подправить его ответы. Чем дальше в лес - тем глубже ямы, и на пятом-шестом промпте ЧатГопота превращается в полностью неадекватный генератор случайного текста.
Анализ сайтов у него неплохой, но только в самом начале. Стоит углубить - все, здравомыслие заканчивается. - Алиса просто пересказывает увиденное и прочитанное. Качественного анализа нет вовсе. Сделать количественный анализ (выстроить товары по цене и назначению) ей под силу, а вот выделить закономерность - нет.
Сайты она только пересказывает, но не анализирует. Выводы очень осторожны и очень слабы. - GigaChat - вообще ни о чем. Пересказывает, выстраивает по очевидным параметрам, но ничего более сложного сделать не способен.
Уточняющие промпты не приводят почти ни к чему - он только пересказывает те же самые выводы с большим количеством воды. - DeepSeek проявил себя лучше всех: он действительно задумывается над выводами и дорабатывает анализ по промптам. Если включить функцию "глубокое мышление", он приоткрывает свою логику, и на нее можно ориентироваться при уточнениях.
Умеет отстаивать свое мнение (даже ошибочное) и аргументировать его, но принимает мнение пользователя. Спокойно выдерживает 8-9 уточняющих промптов и только потом начинает идти вразнос, путаясь сам в себе и предлагая дикие выводы.
Пока именно DeepSeek выглядит самым адекватным инструментом, и дальнейшее описание будет на базе работы с ним.
Итого по качеству анализа
Напоминаю: в основном опираемся на нейросеть DeepSeek, творение сумрачного китайского гения. Уж не знаю, как они били ее ногами, но она и правда работает лучше всех.
В экспериментальной группе
В ней - а это, напомню, рулонные газоны и ландшафтный дизайн, Москва и МО, товар с длительным сроком принятия решения и сложной системой влияющих факторов - ИИ ожидаемо поплыл с первого раза, но после серии уточнений выстроил вполне внятную картину.
- Четко выделил лидеров и аутсайдеров, грамотно разобрал товары по сегментам, показал критерии отбора и анализа, думал над ответами на уточняющие промпты, - это он умеет, тут все хорошо.
- Совершенно не умеет анализировать тексты товарных описаний - ориентируется на объем и ключевые слова, не берет во внимание суть текста. У него подход современных SEO-алгоритмов: чем короче текст и чем ближе покупка, тем лучше, а это не всегда так.
- Вообще не понимает смысла развернутых описаний и не выделяет аргументацию, если ему не подсказать. Т.е. не врубается, зачем нужны выделения УТП и пояснения к ним. Опять-таки использует утилитарный подход для товаров с коротким сроком и простыми факторами принятия решения: чем меньше слов, тем лучше. А это весьма спорный момент для многих рынков.
- Абсолютно не понимает географии: запрос о местах отгрузки (ergo, стоимости доставки) ему просто не лезет в башку. Расстояние в 150 км кажется ему чем-то несущественным (а вот кошельку клиента - наоборот).
- Если с лидерами и аутсайдерами все хорошо, то с серединой все плохо: второстепенные производители им вообще не воспринимаются как отдельные субъекты. По сути он мешает их в одну кучу, не выделяя их особенностей. Это большая ошибка.
- Инициативен в поиске дополнительных источников: нашел экспертную оценку долей рынка (сам, без запроса) и довольно верно ее проанализировал (хотя в цифрах ошибся, конечно, но тенденцию уловил правильно).
- Очень странно оценивает известность компаний: наряду с реальными лидерами вывел в "узнаваемые" и "авторитетные" парочку второстепенных, хотя по факту это далеко не так. Откуда такие выводы - пояснить не смог.
- Совершенно не учел ценовую политику. Просто никак.
- При анализе сайтов на первый план вывел внешнюю простоту заказа, проигнорировав при этом саму структуру сайта. Т.е. чем ему (роботу) понятнее сайт, тем выше он его ставит. Но робот не делает заказы, а человек смотрит на ресурс другими глазами, и фактическое лидерство сайтов совсем иное, чем в мнении нейросетки. По факту сайт, который ему кажется оптимальным, проигрывает ресурсу, поставленному ИИ на второе место (это объективная информация).
- В общем верно проанализировал стратегию SEO и контекстной рекламы для лидеров рынка - вероятно, пробежался по ключам. В них он ожидаемо потонул, и не из-за количества (их сотни), а из-за связи с большим маркетингом: ситуацией на рынке, спецификой товара, ценовыми войнами. Проследить ее он не смог. Но это вообще мало кто может, здесь особая история.
- Стратегию продвижения лидеров оценил верно (это подтверждается независимыми данными). Но прогноз дал ошибочный и поверхностный, с советами "подстроиться под оптимальный сайт", хотя на деле надо как раз отстраиваться от него.
- Дизайн сайтов тоже анализируется ИИ с точки зрения простоты, но оценить визуальную отстройку с первого раза он не в состоянии. После уточнения - да, оценивает, но тут понадобится 2-3 уточняющих промпта.
- Предложенные идеи развития абсолютно банальны, шаблонны и абстрактны. Они не имеют никакого практического применения, хотя с точки зрения теории все правильно, абсолютно круглая лошадь в вакууме именно так и скачет.
В контрольной группе
Она гораздо проще в плане критериев принятия решений, и вот тут ИИ четко выделяет товарные группы, выстраивает товары и компании по возможным предпочтениям клиентов, в целом четко описывает ситуацию в сегменте и на рынке.
Но там и другой подход к формированию мнения клиента - он гораздо более лобовой, простой и основанный на более понятных вещах.
Нейросетка анализировала обе группы по единым критериям; вероятно, для более простых и очевидных b2c-товаров ее работа будет полезней, чем для сложных рынков.
Итоговые размышления
С точки зрения сотрудника компании-лидера рынка в анализе и прогнозе нет ничего интересного и неожиданного. В целом любому грамотному маркетологу все и так ясно. К тому же ИИ-анализ не отменяет самостоятельного изучения сайтов и конкурентов. И даже не дополняет его; разве что в части продвижения - здесь действительно важно посмотреть динамику, прогнать ключевые слова и проверить стратегии.
В остальном результат анализа ИИ - это работа стажера. С точки зрения голой теории экзамен сдан, но до реальной работы я бы такого нейросотрудника не допускал.
И да, если использовать нейросеть в маркетинговом анализе, то лишь для проверки верифицированных данных и для количественного анализа. Качественный ему пока не по мозгам.