В России разработали методику борьбы с «галлюцинациями» нейросетей
🔬 Одна из главных проблем современных нейросетей заключается в том, что они могут уверенно выдавать недостоверную или полностью выдуманную информацию. Такие ошибки специалисты называют «галлюцинациями».
📚 Сегодня для снижения количества подобных ошибок часто используют специальные RAG-системы, в которых нейросеть сначала ищет информацию в базе знаний, а затем формирует ответ. Однако даже такой подход не гарантирует полной точности: ошибки могут возникать из-за опечаток, противоречий в запросах или недостатка данных.
🧠 Российские ученые проанализировали наиболее распространенные сценарии возникновения «галлюцинаций» и создали их классификатор. На основе этих данных была разработана автоматизированная система тестирования нейросетей.
⚙️ Новая методика позволяет автоматически генерировать тестовые запросы, сравнивать ответы с эталонными данными и оценивать точность работы искусственного интеллекта с помощью специальных метрик и анализа смыслового сходства.
🏥🏛🎓 Разработка может применяться в самых разных сферах: от чат-ботов для абитуриентов до цифровых сервисов на «Госуслугах», а также медицинских и юридических помощников, где особенно важна достоверность информации.
#ЭраПобед #ИскусственныйИнтеллект #Наука
