Столкнулся тут с задачей по улучшению SEO описаний. Нужно было сделать тексты более разнообразными. Ну казалось бы - нейросеть в помощь. Вот только, нужно "что бы написал человек". А как проверить текст написал человек или машина?
Провел простую диагностику 8 сервисов по проверки текста на ИИ.
Список проверяемых сервисов:
Скажу честно, результаты не впечатлили. Ради эксперимента я "попросил" нейросеть Chat-GPT с нуля написать SEO текст для раздела сайта по продаже кроссовых мотоциклов и питбайков BSE. Кстати, если вам нужен приличный, хоть и китайский, гряземес, то вы знаете теперь какой бренд брать. Но это не реклама, мне за нее не платят. :)
Вот текст, которую нейросеть "сгенерировала" без какого то вмешательства со стороны пользователя:
Кроссовые мотоциклы BSE – мощность, надёжность и доступность
Мотоциклы BSE – это оптимальное решение для тех, кто ищет надёжный и производительный кроссовый байк по разумной цене. Китайский бренд BSE за последние годы зарекомендовал себя как один из лидеров в сегменте мототехники для бездорожья, предлагая технику, сочетающую в себе высокое качество сборки, современные технологии и отличные ходовые характеристики.
Кроссовые мотоциклы BSE оснащаются надёжными 4-тактными двигателями, усиленными рамами, эффективной подвеской и дисковыми тормозами, что делает их отличным выбором как для начинающих, так и для опытных райдеров. В модельной линейке представлены как лёгкие питбайки для подростков, так и полноразмерные эндуро и кросс-байки для взрослых.
Преимущества мотоциклов BSE:
Отличное соотношение цена/качество
Выносливые и простые в обслуживании двигатели
Усиленные рамы, адаптированные под агрессивную езду
Подвеска с большим ходом для езды по сложному рельефу
Широкий выбор моделей и размеров под любой уровень подготовки
Кроссовые мотоциклы BSE идеально подойдут для тренировок, любительских соревнований и активного отдыха на природе. Надёжная конструкция и доступность запчастей делают их разумным выбором для тех, кто хочет начать своё знакомство с мотоспортом без лишних затрат.
Ищете, где купить кроссовый мотоцикл BSE? Ознакомьтесь с ассортиментом в нашем магазине и выберите идеальный байк под свои задачи!
Ну и посмотрим теперь на результаты проверки в сервисах на "ИИшность" текста. Пойдем по списку. Результат я буду показывать скриншотами с результатом (вот такой вот каламбур).
Результаты проверки
Начнем с первого:
Увы, результат отрицательный. Сервис посчитал, что текст полностью написан человеком. Однако, кроме этой, получается бесполезной фичи, сервис предоставляет проверку на плагиат. Результаты этой проверки плюс-минус как у всем известного сервиса Text RU. Однако, судя по количеству ссылок - сервис Плагио проверяет больше источников.
Обратите внимание, что якобы сгенерированный нейросетью (и не абы какой) тупо использовала заимствования из различных источников. Но об этом как-нибудь потом. :)
Второй сервис:
Вот уже лучше результат диагностики. Но все равно на 16 с копейками процентов сервис показывает шанс написанного человеком. Напоминаю, человек (это я) не прикладывал никаких усилий для написания текста.
Третий сервис:
Результат лучше первого, но хуже второго. Опять-таки, по каким-то критериям, текст который не выделен в тексте, сервис считает написанным человеком. Но это на 100% не так... если только, но об этом потом.
Сервис номер четыре:
Ну что ж... Авторитетный вывод этого сервиса не стоит и выеденного яйца. Зато как красиво все оформлено, прямо "Вах!" Но бесполезно по своей сути.
Перейдем к пятому:
Ни рыба ни мясо. 50 на 50. Результаты напоминают выборы в современных государствах. Что по сути снимает всю ответственность с этого ресурса. Я тоже могу сказать ткнув в любой текст: "Это сгенерировано нейросетью!" И пойди докажи, что я не прав. Самый бесполезный ресурс из списка.
Сервис под номером шесть:
О, вот этот сервис указал на удивление верно. Хотя все равно оставил мизерный шанс, что текст все же написал человек. Но, не забываем, текст якобы сгенерирован. Может быть сервис просто угадал? Но это мы протестируем чуть позже.
И последний, седьмой:
Этот ресурс благоразумно не дает вам какую-то статистику в процентах. На удивления подход анализа текста напоминает работу профессионала. Что весьма похвально. Утверждение, что текст "может быть сгенерирован ИИ", а может быть просто написан усталым seo`шником по банальному шаблону (а пойди докажи, что это не так).
Если вам требуется нормальный анализ текста - можете попробовать этот ресурс. Но, как видите, никаких 100% результатов, а лишь предположения.
Проверка на человечность
А давайте проведем эксперимент от обратного. Я скормлю нейросетям текст, который написал сам без применения каких-либо нейросетей. Мой шибанутый стиль подделать не так что бы сложно, но кому это нужно. :)
Я использую текст из этой статьи:
В статье более 5000 символов и весьма заковыристый "стиль письма" (потому и не читают).
Сразу скажу, что результаты меня порадовали. Но без лишних слов, скриншоты с результатами проверки.
Первый:
Ну по поводу проверки на ИИ мы уже знаем, что толку от нее здесь ноль. Но забавно, что 90 процентов моего текста - чьи-то заимствования. Прикольно, что даже источники указаны, где был "заимствован текст." Вот только... ради интереса я проверил небольшой кусочек из гоголевского ревизора и...
Ну надо просто признать, что я - не оригинален, или даже так - "Оригинален на 9 процентов."
Второй:
Определил точно, что писал человек. Если нужна точная диагностика текста, то обратите внимания на этот ресурс.
Но у сервиса ограничения на 20000 символов на проверку.
Третий:
А тут облом-с. Максимальная длинна проверки текста - 2000 символов. Но, как мы выяснили выше, у этого сайта такие себе результаты.
Четвертый:
Забавно, что процент "человечности" у этого текста даже ниже.
Пятый:
На этот раз он угадал. Но первый вариант, полностью сгенерированный, отгадать не смог.
Но у сервиса ограничения на 5000 символов на проверку.
Шестой:
Так же можете внести себе в закладки этот сайт. И в первый раз этот сервис определил статью как нейросетевую практически на 100% и сейчас определил верно.
Но у сервиса ограничения на 5000 символов на проверку.
Седьмой:
Как и в первый раз сервис интересен своим анализом. Весьма полезный инструмент для людей, любящих сетевое писательство.
И так выводы
- Третий, четвертый и пятый сайты - смысла использовать нет.
- Первый не способен определить написан ли текст машиной или человеком, но обладает неплохим инструментом для проверки на антиплагиат.
- Шестой ресурс дает самые точные результаты проверки на ИИ.
- Седьмой же подойдет по своим аналитическим возможностям проверки текста и предложениям по его улучшению.
- Остается второй, но какой в нем смысл, если в нем ограничения на 20 тысяч символов.
И зачем все это надо?
Представьте, что вам нужно доказать, что текст создан не нейросетью, а человеком. Ну, вы понимаете какими сервисами тогда надо пользоваться? :)
И наоборот, если вам зачем-то (мне не интересно зачем) потребуется доказать, что не человек написал текст, а нейросеть - выбираете из списка соответствующие сайты. Возможно, повезет и этому тексту поставят плашку "создано нейросетью."
На этом все, может быть кому-то это будет интересно.
Ссылки на тестируемые сайты смотрите в самом начале.