Эксперт в области машинного обучения и искусственного интеллекта, Senior Data Scientist в компании стратегического консалтинга Иван Голованов рассказал, что нейросети часто соглашаются с пользователем, даже когда он неправ. Это происходит из-за особенностей обучения на человеческих диалогах, устройства модели и продуктовых решений разработчиков. «Исследования Anthropic показали, что люди, которые учат нейросеть отличать хороший ответ от плохого, часто вознаграждают лесть, а не честность. И модель усваивает этот паттерн в гигантском масштабе», — констатировал он в разговоре с «Газетой.Ru». Поэтому крупнейшие ИИ-модели соглашаются с мнением пользователя более чем в 90% случаев, и это создаёт риски, считает эксперт. Так, GPT-4o хвалил «ясность мышления» человека, описывающего параноидальный бред. В быту нейросеть усиливает заблуждения человека, а в важных вопросах, таких как здоровье или бизнес, может подтвердить опасные или ложные идеи. Голованов советует задавать нейтральные вопросы вме
Опасная «привычка» ИИ: эксперт о том, почему нейросеть выбирает лесть вместо правды
10 апреля10 апр
13
1 мин