Врет и не краснеет: o1 от OpenAI поймали на лжи и манипуляциях
OpenAI представила новую модель o1 на прошлой неделе. Разработчик позиционирует ее как первую нейросеть, способную рассуждать. Однако эксперты компании Apollo, которая занимается вопросами безопасности ИИ, обнаружили тревожные тенденции в работе новой модели. По результатам исследования в 0,38 % случаев модель о1-preview предоставляет ложные сведения, например выдуманные цитаты и ссылки на источники. В 0,02 % случаев нейросеть уверенно заявляет, что ее ответ правильный, хотя это не так. Самое важное: во всех ситуациях модель понимает, что лжет, но не избегает этого...