Anthropic анонсировала новую программу финансирования для разработки передовых тестов искусственного интеллекта. Эти тесты будут оценивать как производительность, так и влияние ИИ-моделей, включая собственную генеративную модель Claude. Цель программы — устранение дефицита высококачественных оценок безопасности в таких областях, как кибербезопасность и социальные последствия ИИ.
Заинтересованные организации могут подавать заявки на постоянной основе. Основное внимание уделяется разработке критериев для оценки угроз, таких как кибератаки, дезинформация и усовершенствование оружия массового уничтожения.
Программа также поддерживает исследования, направленные на использование ИИ для научных исследований, многоязычного общения и снижения предубеждений. Anthropic планирует создать новые платформы для разработки оценок и проведения испытаний. Для координации программы нанят специалист на полный рабочий день. Компания готова инвестировать в перспективные проекты, предлагая различные варианты финансирования.
Еще больше интересной и полезной информации на нашем телеграм канале: Ai Сознание
Однако есть опасения, что коммерческие интересы Anthropic могут повлиять на определение понятий «безопасный» и «рискованный» ИИ. Критики утверждают, что акцент на катастрофических рисках может отвлечь внимание от текущих проблем регулирования. Несмотря на это, Anthropic надеется установить новый стандарт в оценке ИИ, способствуя сотрудничеству и прогрессу в сообществе ИИ.
Обсудим:
- Каковы могут быть долгосрочные последствия такого подхода к оценке ИИ?
- Может ли коммерческий интерес повлиять на объективность оценок?
- Какие другие области применения ИИ требуют более тщательной оценки?
