Ведущий игрок в сфере ИИ, компания Anthropic, заявила, что разработчики передовых нейросетей должны создать скоординированный, проверяемый способ замедления или временной приостановки разработки. Он нужен на случай, если системы начнут улучшать себя быстрее, чем общество сможет управлять рисками, пишет Reuters. ИИ, который может строить себя, станет крупным событием в истории технологий, но «полное рекурсивное самоулучшение также может увеличить риски потери контроля над системами ИИ». По состоянию на май более 80% кода, объединённого в кодбазу Anthropic, было написано нейросетью компании — Claude. «Если системы способны полностью строить своих собственных преемников, способы их защиты, мониторинга и формирования их поведения становятся гораздо более важными», — отмечается в заявлении Anthropic.
Ведущий игрок в сфере ИИ, компания Anthropic, заявила, что разработчики передовых нейросетей должны создать скоординированный, проверяемый способ замедления или временной приостановки разработки. Он нужен на случай, если системы начнут улучшать себя быстрее, чем общество сможет управлять рисками, пишет Reuters.
ИИ, который может строить себя, станет крупным событием в истории технологий, но «полное рекурсивное самоулучшение также может увеличить риски потери контроля над системами ИИ».
По состоянию на май более 80% кода, объединённого в кодбазу Anthropic, было написано нейросетью компании — Claude.
«Если системы способны полностью строить своих собственных преемников, способы их защиты, мониторинга и формирования их поведения становятся гораздо более важными», — отмечается в заявлении Anthropic.