История о том, как уверенная галлюцинация ИИ едва не стоила мне репутации — и что я теперь делаю иначе.
Я почти нажал «отправить». В коммерческом предложении клиенту стоял пункт со ссылкой на «федеральный закон» и точным номером статьи. Красиво, убедительно, по делу. Беда одна: такого закона не существует. Его придумала нейросеть.
Как красивая выдумка проходит мимо здравого смысла
Я тогда работал быстро и доверчиво: попросил GPT-5.5 собрать юридическое обоснование, получил аккуратный абзац с номерами и датами. Всё звучало настолько по-взрослому, что рука сама потянулась к копированию.
Спасла случайность — я решил вставить номер статьи в поиск, просто для верности. Её не было. Ни в одной базе. Модель не соврала со зла — она дорисовала правдоподобную деталь, потому что так устроена. Про эту механику «уверенного вранья» хорошо сказано в На самом деле никто не знает, какая нейросеть лучше.
Тогда я впервые задумался: сколько таких «фактов» я уже отправил, не проверив?
Что я поменял в работе после того случая
Первое правило завёл сразу: цифры, ссылки, имена и даты — всегда под подозрением. Это зоны, где ИИ галлюцинирует чаще всего.
Второе — перекрёстная проверка. Один и тот же спорный факт прогоняю через Claude 4.6 Sonnet и Gemini 3.1 Pro. Расходятся ответы — значит, копать вручную. Сходятся — уже спокойнее, но ссылку всё равно проверяю.
Но честно: на потоке это утомляет. Когда статей и КП десятки в неделю, ручной фактчек каждого абзаца превращается в отдельную работу.
Развязка: проверка перестала быть ритуалом
Сейчас я держу всё в Сабка ПРО, и спорный ответ проверяю встроенным фактчеком — кнопка вместо пяти вкладок с гуглом. Ложные утверждения и выдуманные ссылки подсвечиваются сразу.
Грубо прикинул экономию: раньше на ручную проверку фактуры в одной статье уходило минут 20–30 (пример, оценочно). Сейчас — пара минут. Помогает и общая память в Sabka Pro: модель помнит, какие данные мы уже проверили в прошлой задаче, и не заставляет начинать с нуля. Про другие дорогие ошибки в работе с промтами я писал в Слив бюджета на промпты: как я прогорел.
Тот несуществующий закон я до сих пор вспоминаю с холодком. Нейросеть — отличный помощник. Но помощник, за которым проверяют. Особенно когда его ответ слишком красив, чтобы быть правдой.