10 мая 2020 года мы до сих пор не забыли.
Стоп-слова: почему нейросеть иногда генерирует мусор
Большие языковые модели способны генерировать убедительный текст, но вместе с ним — ссылки на несуществующие ресурсы, описания библиотек, которых нет в реестрах, и цитаты из исследований, которые не проводились. Это явление называют галлюцинациями ИИ, и оно остаётся главным барьером для корпоративных внедрений. Большая языковая модель (LLM) — это статистическая машина для предсказания следующего токена. Она оперирует вероятностями, а не понятиями правды или лжи. Нет факта в памяти — есть правдоподобный паттерн, и модель идёт по нему...