Галлюцинации ИИ: почему нейросети врут и как поймать модель на выдумке
Спросил нейросеть про закон, дату или точную цитату и получил ответ таким уверенным тоном, что проверять не хотелось. Зря: самые уверенные ответы врущих нейросетей как раз чаще всего оказываются выдумкой. Разберу, почему это заложено в самой архитектуре моделей, и дам приёмы, которые ловят галлюцинации ИИ раньше, чем они попадут в важный документ. Разбор устроен так: Галлюцинация - это момент, когда нейросеть выдаёт неверный факт уверенным тоном, будто это очевидная правда, а не догадка. Это не единичный сбой вроде опечатки и не поломка сервиса...