1 неделю назад
Нейросеть уверенно врёт. Как работают галлюцинации AI и как поймать их за руку
«Исследование Гарвардского университета 2023 года показало, что...» и дальше следует убедительная цитата с точными цифрами. Вы проверяете. Такого исследования не существует. Никогда не существовало. Это называется галлюцинация и это не редкий баг, а системная особенность всех языковых моделей. Разбираю, как это работает и как не попасться. ПОЧЕМУ НЕЙРОСЕТИ «ВРУТ» Важное уточнение: нейросеть не лжёт в человеческом смысле, у неё нет намерения обмануть. Она генерирует статистически вероятный следующий токен (слово)...
Галлюцинации ИИ: почему нейросети врут и как поймать модель на выдумке
Спросил нейросеть про закон, дату или точную цитату и получил ответ таким уверенным тоном, что проверять не хотелось. Зря: самые уверенные ответы врущих нейросетей как раз чаще всего оказываются выдумкой. Разберу, почему это заложено в самой архитектуре моделей, и дам приёмы, которые ловят галлюцинации ИИ раньше, чем они попадут в важный документ. Разбор устроен так: Галлюцинация - это момент, когда нейросеть выдаёт неверный факт уверенным тоном, будто это очевидная правда, а не догадка. Это не единичный сбой вроде опечатки и не поломка сервиса...