Компания OpenAI раскрыла внутренние правила обработки переписки в ChatGPT. В блоге OpenAI сообщили, что переписка в ChatGPT анализируется на предмет самоповреждений и насилия.
С начала 2023 года модели обучаются блокировать инструкции, связанные с причинением вреда себе, и перенаправлять диалог в поддерживающее русло. Если пользователь пишет о намерении покончить с собой, ассистент должен выразить эмпатию и предложить контакты помощи. В США это горячая линия 988, в Великобритании — организация Samaritans, для других стран — портал findahelpline.com.
Для несовершеннолетних и незарегистрированных пользователей действует более строгая система фильтрации: блокируется больший спектр опасных сообщений и изображений. Во время длинных диалогов ChatGPT также предлагает сделать паузу.
Сообщения с угрозами другим людям проходят проверку специально обученной командой. Если эксперты подтверждают риск серьезного насилия, материалы передаются в полицию. При этом компания подчеркнула, что случаи самоповреждений не направляются в правоохранительные органы, чтобы сохранить конфиденциальность.
Отдельно OpenAI напомнила о запрете на использование ChatGPT для пропаганды членовредительства, разработки оружия, нападений на людей или объекты, а также любых действий, угрожающих безопасности сервисов. Пока, как заявила компания, случаев передачи переписки полиции не зафиксировано.