588 подписчиков
📌 Anthropic: ИИ может вскоре резко ускорить собственную разработку
Anthropic предупредила инвесторов: будущие модели могут вскоре достичь внутреннего порога резкого ускорения исследований за счёт ИИ. В обновлённых документах для выхода на биржу компания подчеркнула: ни одну нынешнюю модель она пока не признала преодолевшей этот порог.
Речь о приближении к рекурсивному самоулучшению — циклу, в котором ИИ создаёт более способного преемника, а тот продолжает процесс. Но ускорение исследований с участием людей ещё не означает, что модель самостоятельно разработала следующее поколение.
Anthropic уже использует ИИ в исследованиях и признаёт, что прежде замечала существенное ускорение разработки лишь постфактум. Компания опасается, что возможности моделей будут расти быстрее, чем она успеет подготовить и проверить меры безопасности.
💡 Почему важно: На проверку безопасности может оставаться меньше времени, даже если люди продолжают руководить разработкой. Для такого риска не требуется полностью самостоятельный ИИ: достаточно, чтобы автоматизация заметно сократила цикл исследований.
При этом предупреждение в документах для инвесторов — прогноз компании, а не доказательство самоулучшения. Anthropic связывает оценку с будущими моделями и продолжает анализировать данные; публичного подтверждения перехода через порог пока нет.
Anthropic рассматривает изменения правил безопасности, чтобы сохранить человеческий контроль над разработкой следующих поколений моделей.
🦋 Читать полностью: dzen.ru/...iwv
1 минута
3 ноября