Я почитываю комментарии на vc.ru и reddit, чтобы понимать отношение людей и боли при использовании ИИ. За последнее время все чаще говорят, что LLM стали больше врать. И исследования это подтверждают. Сегодня расскажу о методах, которые помогут избежать галлюцинаций и повысить точность ответов.
1. Предоставить в промпте все нужные знания и дать больше контекста. Я уже рассказывал в этом посте про случай, когда после скидывания документации, нейросеть перестала врать, да, банальной документации по языку программирования (задача была тесно связана с его синтаксисом).
2. Перед тем как отправлять промпт с задачей, попросить найти нужные источники и составить выжимку по этим источникам, состоящую и дословных цитат. Дальше проверить, что там все верно. Если нет, то подкорректировать. И только после этого уже просить решать задачу.
3. Разрешить LLM говорить не знаю и просить ее спрашивать обо всем неизвестном. Так уж вышло, что модели запрепромпчены так, чтобы всегда давать какой-то четкий уверенный ответ, даже если это полный бред
4. Использовать пошаговое рассуждение, разделять задачу на мелкие и проверять корректность на каждом шаге.
Ну и уж очень хочется отметить, что Claude в этом исследовании на стал давать больше ложных ответов (если конечно оно не проплачено). Сам сейчас для многих задач использую Claude и очень доволен, поэтому всем его рекомендую.
Резюмируя, хочется сказать, что ИИ мощный инструмент, но инструменты надо уметь использовать. Он не решит за вас задачу, он решит ее с вами.
Подробнее о том, как использовать ИИ инструменты с умом, что позволило попасть в топ 5% лучших сотрудников Яндекса, рассказываю тут: