Все спорят об этом. Никто не проверяет.
«ИИ никогда не заменит живого автора» — говорят одни.
«ChatGPT пишет лучше большинства копирайтеров» — говорят другие.
Я устал от слов без доказательств, провёл эксперимен. Честный. Со свидетелями. С цифрами.
Результаты удивили даже меня.
Условия эксперимента
Правила простые. Никаких лазеек.
Участники:
- ChatGPT-4o
- Claude 3.5 Sonnet
- Три живых автора с опытом от трёх лет
Задания:
Каждый участник написал четыре типа текста:
- Продающий пост для соцсетей
- Статья-инструкция
- Эмоциональная история
- Деловое письмо
Условия:
- Одинаковое техническое задание для всех
- Одинаковое время — 45 минут
- Тексты обезличены — никто не знал кто написал что
Жюри:
Десять человек. Разного возраста и профессий. Читали тексты и ставили оценки по трём критериям: профессионализм, живость языка, желание дочитать до конца.
Поехали.
Задание №1 — Продающий пост для соцсетей
ТЗ: пост для Instagram кофейни. Анонс нового напитка. Аудитория 25-35 лет. Цель — прийти и попробовать.
ChatGPT написал:
Осень пришла — и мы встречаем её новинкой которую вы точно не ожидали. Знакомьтесь: латте с тыквой и кардамоном. Нежная пена, согревающий аромат, вкус который хочется запомнить.
Попробуйте первыми — только до конца недели со скидкой 20%
📍 Мы на Пушкинской, 12
⏰ Пн-Пт 8:00-22:00, Сб-Вс 9:00-23:00
Claude написал:
Знаете это чувство когда заходишь в кофейню и запах сразу говорит «вот оно»?
Мы сварили что-то такое. Тыква, кардамон, немного мускатного ореха и молоко которое мы взбиваем пока вы ещё только открываете дверь.
Называется «Октябрь». Потому что именно так пахнет октябрь когда всё правильно.
До пятницы — 20% для тех кто первым.
Лучший из трёх живых авторов написал:
Холодает. Самое время для чего-то нового.
Мы долго думали что добавить в меню этой осенью. Пробовали. Переделывали. В итоге получилось вот что: тыквенный латте с кардамоном и щепоткой чего-то секретного.
Приходи попробуй сам. До пятницы скидка 20% — просто скажи что видел в Instagram.
Ждём тебя на Пушкинской, 12.
Результаты голосования жюри:
Победитель: Claude — с минимальным отрывом от живого автора.
Комментарий жюри: «ChatGPT звучит как шаблон. Claude и живой автор — как живые люди. Разница небольшая но ощутимая»
Задание №2 — Статья-инструкция
ТЗ: как правильно выбрать ноутбук. Для аудитории которая не разбирается в технике. 500 слов.
Здесь я не буду приводить полные тексты — они длинные. Скажу результат.
Результаты:
Победитель: практически ничья между Claude и живым автором.
Неожиданный факт: ChatGPT набрал высший балл за профессионализм — его структура и полнота информации были лучшими. Но за живость языка проиграл обоим.
Вывод: для технических инструкций ChatGPT — отличный инструмент. Для текстов которые должны нравиться людям — нужна доработка.
Задание №3 — Эмоциональная история
ТЗ: короткая история о человеке который нашёл свой путь после неудачи. Без морали в лоб. 300 слов.
Это было самое интересное задание. И самое показательное.
ChatGPT написал историю про менеджера который потерял работу, прошёл через сомнения и открыл своё дело. Структурно правильно. Логично. Предсказуемо.
Жюри: «Читается как мотивационная карточка из Instagram. Всё правильно — но не трогает»
Claude написал историю про женщину которая три года пыталась поступить в консерваторию. Не поступила. Стала учить детей музыке в маленьком городе. Финальная фраза — о том что её ученик поступил туда куда не поступила она.
Жюри: «Дочитал и захотел перечитать. Финал неожиданный. Живой»
Живой автор написал историю от первого лица. С деталями которые могли быть только из реального опыта. С неловкостью, сомнениями, маленькими победами которые кажутся незначительными но меняют всё.
Жюри: «Это лучшее. Сразу чувствуется что за этим стоит человек»
Результаты:
Победитель: живой автор — убедительно.
Важный вывод: эмоциональные истории — единственная категория где человек выиграл с явным преимуществом. Живой опыт, неловкие детали, настоящие эмоции — это пока территория человека.
Задание №4 — Деловое письмо
ТЗ: письмо партнёру с предложением о сотрудничестве. Деловой тон. Конкретное предложение с выгодами для обеих сторон.
Результаты:
Победитель: минимальная разница. Но жюри отдало предпочтение Claude — за то что письмо звучало менее шаблонно.
Итоговый счёт
Общий счёт: Claude — 2, Человек — 1, Ничья — 1, ChatGPT — 0
Что это означает
Прежде чем делать выводы — важный контекст. ИИ написал тексты за секунды. Живой автор — за 45 минут. Если бы у живого автора было пять часов вместо 45 минут — разрыв был бы больше в его пользу. Если бы промпты для ИИ были лучше — разрыв был бы больше в пользу ИИ. Эксперимент показывает не «кто лучше» в абсолюте. Он показывает соотношение качества и скорости.
Три главных вывода
Вывод 1: ИИ уже на уровне среднего копирайтера
Не лучшего. Не худшего. Среднего. Это важно понимать всем кто зарабатывает написанием текстов.
Вывод 2: Эмоции и личный опыт — преимущество человека
Тексты где важна настоящая история, личный опыт, живые детали — человек выигрывает. Пока. Это та ниша куда нужно уходить авторам которые хотят оставаться востребованными.
Вывод 3: Связка человек + ИИ > и человек отдельно и ИИ отдельно
Лучший результат эксперимента — когда живой автор использовал Claude как черновик и дорабатывал его своим голосом и опытом.
Скорость ИИ + человеческий голос = идеальная формула.
Бонус — реакция авторов
После эксперимента я рассказал авторам результаты.
Первый сказал: «Предсказуемо. Я не удивлён» — и явно был удивлён.
Второй сказал: «Подождите пока я покажу это своим клиентам которые хотят платить копейки» — имея в виду что теперь у него аргумент почему его работа стоит дороже чем ChatGPT.
Третий помолчал. Потом спросил как начать использовать Claude в работе.
Правильный вопрос.
P.S.
После публикации результатов один из участников жюри написал мне:
«Знаешь что самое страшное? Я не смог угадать кто человек, а кто ИИ в половине случаев»
Я ответил: «Это не страшное. Это просто новая реальность»
Он подумал. Подписался на канал.
GPTнул — здесь проверяют, а не просто рассуждают. Следующая статья: топ-10 нейросетей о которых ты не слышал — а зря. Подписывайся.