Ранее мы писали про хаос в OpenAI, из-за противоречия бизнес-инициатив и безопасности ИИ. Но зачем нам вообще нужна безопасность в ИИ? Подробнее в новой заметке от Axevil Capital.
Ведь сейчас LLM не представляют угрозы. Да, они могут сгенерировать песню или заменить начинающего программиста. Но в целом человечество живёт как раньше.
⚡Дело в том, что сегодняшние ИИ-модели — игрушка по сравнению с тем, что нас ждёт в ближайшие годы. CEO Anthropic в недавнем интервью рассказал, что тренировка текущих моделей стоила около $1 млрд. А в 2025-2026 выйдут модели стоимостью $5-10 млрд! И по его словам, это будет уже близко к AGI.
А что нас ждёт, если мы не внедрим безопасный подход? ИИ-агенты будут распространять вредоносный код, проводить изощрённые манипуляции. Подорвётся главная валюта человечества — доверие. Посыпятся иски, правительства начнут блокировки, и технологию ИИ спишут в утиль со всеми инвестициями.
⚡Но есть и другой путь — безопасный ИИ, который сонаправлен с целями человечества. Так ИИ сможет стать «вторым электричеством» и на порядок повысить нашу продуктивность.
И именно Anthropic стал №1 в области безопасного ИИ. В чём это выражается?
1. Защитная структура компании и совета директоров (Long-Term Benefit Trust). Она на корню убирает риски корпоративных переворотов, от которых так страдает OpenAI.
2. Конституционный ИИ — новейший подход к тренировке моделей, который разработали в Anthropic. Модели могут самообучаться на своих ответах, используя список правил от человека. Точность ответов и безопасность выходят лучше, чем на человеческой разметке.
3. Независимость от ключевого партнёра. Microsoft плотно проник в OpenAI, в то время как Anthropic поступили разумнее. Они заключили взаимовыгодные партнёрства с Amazon (главным облачным поставщиком в мире) и Google (главным поставщиком данных).
⚡Пока в OpenAI кипят драмы, Anthropic спокойно занимается развитием бизнеса с фокусом на безопасности. Так они показывают, что можно создавать мощные системы ИИ, не жертвуя ценностями
Чтобы следить за выходом новых материалов, подписывайтесь на наш аккаунт. Делитесь с друзьями и до скорого!