Добавить в корзинуПозвонить
Найти в Дзене
Машинное обучение

📜 Anthropic опубликовала “новую конституцию” Claude - самое интересное (и зачем это нужно

) Anthropic выложила обновлённую “конституцию” Claude - документ, который задаёт ценности и поведение модели. Это не просто PR: такие принципы реально используются при обучении, чтобы Claude действовал предсказуемо в сложных ситуациях. Вот самое важное: 1) Это больше не список запретов, а логика мышления Раньше конституция больше походила на набор правил. Теперь идея другая: модель должна понимать “почему так”, а не просто следовать инструкциям. Иначе она будет ломаться в нестандартных кейсах. 2) Жёстко прописан порядок приоритетов Anthropic прямо фиксирует, что важнее всего для Claude (по убыванию): - безопасность - этичность - следование политике Anthropic - полезность “Быть полезным” для модели - важно, но никогда не ценой безопасности. 3) Есть неснимаемые запреты (hard constraints) Один из ключевых моментов: одних принципов недостаточно. В самых рискованных темах у модели есть жёсткие линии - например, она не должна усиливать опасные направления вроде создания биологического

📜 Anthropic опубликовала “новую конституцию” Claude - самое интересное (и зачем это нужно)

Anthropic выложила обновлённую “конституцию” Claude - документ, который задаёт ценности и поведение модели. Это не просто PR: такие принципы реально используются при обучении, чтобы Claude действовал предсказуемо в сложных ситуациях.

Вот самое важное:

1) Это больше не список запретов, а логика мышления

Раньше конституция больше походила на набор правил.

Теперь идея другая: модель должна понимать “почему так”, а не просто следовать инструкциям. Иначе она будет ломаться в нестандартных кейсах.

2) Жёстко прописан порядок приоритетов

Anthropic прямо фиксирует, что важнее всего для Claude (по убыванию):

- безопасность

- этичность

- следование политике Anthropic

- полезность

“Быть полезным” для модели - важно, но никогда не ценой безопасности.

3) Есть неснимаемые запреты (hard constraints)

Один из ключевых моментов: одних принципов недостаточно.

В самых рискованных темах у модели есть жёсткие линии - например, она не должна усиливать опасные направления вроде создания биологического оружия.

4) Самый обсуждаемый блок: “природа Claude”

В документе есть отдельный раздел, где Anthropic честно говорит: что разработчики Клода не уверены, может ли ИИ когда-то иметь форму сознания или морального статуса.

И важная мысль: даже если сознания нет, модели всё равно нужно уметь рассуждать о своей роли, идентичности и границах - чтобы быть безопасной и устойчивой.

5) Документ написан не для людей, а для модели

Конституция сделана так, чтобы Claude мог использовать её как “внутреннюю систему координат”: принимать решения, балансировать честность и сочувствие, избегать манипуляций и вреда.

6) Конституцию отдали в public domain (CC0)

То есть её можно свободно копировать, переиспользовать и адаптировать - хоть для своих моделей, хоть для исследований.

Anthropic позиционируют Клода не как “бота с фильтрами”, а как модель, у которой есть понятная система ценностей и объяснённые принципы поведения - и всё это максимально прозрачно.

https://www.anthropic.com/news/claude-new-constitution

@machinelearning