Многие, кто активно пользуются ChatGPT или другими LLM, замечали одно и то же: если задача редкая, узкоспециализированная или про что-то слабо описанное в интернете, нейросеть начинает «галлюцинировать». Она придумывает несуществующие методы, API или даёт советы, которые в реальности не работают.
Это не баг, а закономерность. LLM обучены на огромных массивах текста, и если нужного контекста нет, они просто начинают достраивать пробелы фантазией.
Простой трюк, который работает
В моём случае задача была настолько специфичная, что найти готовое решение в интернете не получилось. Я решил дать ChatGPT документацию в качестве контекста.
Результат меня удивил: ИИ перестал галлюцинировать и сразу написал рабочий код.
На самом деле это объясняется просто: LLM умеют прекрасно анализировать текст и делать выводы на его основе, но не всегда имеют нужный источник знаний под рукой. Добавив документацию, я дал ей «собственную обучающую выборку» прямо во время диалога.
Немного статистики
По данным Stanford HAI, 2023, до 40% ошибок в ответах LLM на технические запросы связаны именно с отсутствием актуальной документации.
В исследованиях [MIT, 2024] показано, что при добавлении нужного контекста (RAG — retrieval-augmented generation) точность ответов возрастает на 30–50%.
В индустрии это давно используется: GitHub Copilot подключает встроенные справочники, Google Gemini — поисковик, а многие компании строят свои «LLM-ассистенты» именно на основе корпоративной документации.
Вывод
ИИ — это не замена знаниям, а ускоритель понимания контекста. Чем точнее вы формируете окружение (документация, примеры, код), тем «умнее» становится модель.
И, что забавно, такой простой приём, как «дать документацию», превращает ChatGPT из «тупого собеседника» в реального помощника, способного идеально решить задачу.
Подробнее о инструментах, которые позволили попасть в топ 5% лучших сотрудников Яндекса, рассказываю тут: