Нейросеть может написать ответ настолько уверенно, что сомневаться в нём просто не возникает желания. Есть даты, цифры, названия документов, ссылки на исследования и даже подробное объяснение того, почему всё именно так. Проблема в том, что убедительный вид ответа не является доказательством его правильности. Современные языковые модели по-прежнему способны выдавать правдоподобные, но ложные утверждения. В профессиональной литературе это называют «галлюцинациями» или конфабуляциями. NIST отдельно отмечает, что проблема особенно важна там, где ошибка может повлиять на реальное решение...