История компании Antropic PBC – исследователя, разработчика конституционального ИИ, создателя большой языковой модели (LLM) Claude
*Вы читаете материал, который выложен в нашем паблике в Gem Space. Подписывайтесь, чтобы узнать о великих визионерах, инвесторах, компаниях, проектах!*
“Цель Anthropic – добиться фундаментальных результатов в исследованиях, которые позволят нам создавать более мощные, общие и надежные системы искусственного интеллекта, а затем внедрять их таким образом, чтобы это приносило пользу людям.” (с) Дарио Амадей, основатель Anthropic PBC
Искусственный интеллект, возможности, блага и опасности, связанные с его повсеместным внедрением – вот что сейчас волнует не только тех, кто так или иначе связан с IT, но и всех людей, думающих о будущем. Лидером в этой области на данный момент является создатель нейросети ChatGPT – компания OpenAI. Но у нее есть небольшой по количеству сотрудников, всего 160 человек, но весьма грозный конкурент – стартап Anthropic PBC, позиционирующий себя как "Корпорацию общественного блага". Это лаборатория, работающая над созданием и обучением более развитого, но, как утверждается, более безопасного искусственного интеллекта.
Open AI – что это?
“Anthropic будет подходить к ИИ как к эмпирической науке. Важно критически оценить потенциальное воздействие этой технологии на общество.”(с) Дарио Амадей, основатель Anthropic PBC
История Anthropic началась с принципиального раскола, произошедшего в 2021-м году внутри команды набирающего обороты стартапа OpenAI. Компания была основана в 2015-м году как некоммерческое предприятие. Среди ее создателей: владелец Tesla и SpaceX Илон Маск, бывший руководитель инкубатора стартапов Y Combinator Сэм Альтман и несколько частных лиц. Все основатели внесли свою долю изначального финансирования и собрали в общей сложности $1 млрд. Организация позиционировала себя как исследовательский проект в области безопасного общего ИИ, предлагала сотрудничество лабораториям и ученым, обязалась предоставлять разработки и патенты в общий доступ.
Некоторые внутренние разногласия начались в 2018-м, когда компанию покинул Илон Маск под предлогом столкновения коммерческих интересов. Позднее, в 2019-м, OpenAI из НКО перерегистрировалась в коммерческую организацию, в 2021-м получила $1 млрд инвестиций от Microsoft и заключила с корпорацией долгосрочный контракт на ряд совместных проектов, который оценивается в $10 млрд. В конце 2022-го публике был представлен революционный продукт – большая лингвистическая модель ChatGPT.
Кто запустил Anthropic
“Попытка подумать о том, как весь мир реагирует на искусственный интеллект, может ошеломить. Мы должны внутренне спросить себя, зачем мы это сделали? Почему мы основали Anthropic? Вот почему: мы хотим помочь сделать системы искусственного интеллекта более безопасными с самого первого дня.” (с) Даниэла Амадей, основатель Anthropic PBC
Стартап основали родные брат и сестра Дарио и Даниэла Амадей. Они итальянцы, получившие образование в США. Дарио в 2011-м закончил Принстонский университет по специальностям "Физика" и "Биология". В аспирантуре изучал работу нейронных цепей и получил докторскую степень. Затем он присоединился к корпорации Skyline в качестве программиста на неполный рабочий день, а параллельно изучал клеточную медицину в Стэнфорде. Еще в студенческие годы он интересовался проблемами ИИ, особенно после того, как прочел книгу Рэймонда Курцвейла “Сингулярность уже близко”, где ученый предсказывал, что человеческий разум и машинный соединятся и не будет границ между миром физическим и виртуальным, а наступит это довольно скоро, в 2045 году.
В ноябре 2014-го Дарио пришел в компанию Baidu, в которой получил возможность участвовать вместе с небольшой группой ученых в исследованиях заинтересовавшего его предмета. Большую часть времени Амадей посвящал изучению и тестированию модели распознавания речи Deep Speech 2, в частности, глубокому обучению распознавания двух совершенно непохожих языков – китайского и английского. Также он разработал и внедрил архитектуру нейронных сетей, которая помогла снизить частоту ошибок в распознаваемых словах, снизить шумовые искажения и минимизировать влияние акцентов.
Спустя год Дарио пригласили в исследовательский проект по изучению ИИ, запущенный Google и носивший название Google Brain. Там он продолжил изучение нейросетей и выпустил несколько работ на тему безопасности работы с ними. В 2016-м он ушел из проекта и присоединился к стартапу OpenAI, так как хотел работать в компании, полностью посвященной проблемам ИИ и заботящейся о безопасности пользователей.
Безопасность стала главной темой его работы. Вместе с Дарио в компанию пришла его младшая сестра Даниэла, тоже программист и исследователь ИИ. В 2018-м Амадей был назначен вице-президентом по исследованиям, а Даниэла – по безопасности и политике. Он руководил командами, разрабатывавшими GPT-2 и GPT-3, также он курировал сотрудничество с лабораторией DeepMind. Особенно его интересовали моменты, связанные с возможностью того, чтобы люди указывали ИИ, что ему делать, а не он сам принимал решения. То есть обучение с помощью контролируемой обратной связи.
Основание Anthropic
“Мы очень рады работать с инвесторами, которые поддерживают нас в этой миссии, и по-прежнему будем сосредоточены на исследованиях в ближайшей и долгосрочной перспективе.” (с) Дарио Амадей, основатель Anthropic PBC
В 2021-м году Дарио, его сестра Даниэла и еще 9 сотрудников покинули OpenAI. Причиной стало то, что, по их мнению, получив огромные инвестиции от Microsoft, компания потеряла независимость. Она фактически превратилась в вассала корпорации, обязанного использовать и обучать суперкомпьютер Azure, лицензировать все свои продукты через Microsoft и привлекать средства технологического гиганта ко всем своим приобретениям и вложениям.
Они привлекли $124 млн первоначальных инвестиций, в том числе от основателя Skype Яана Таллина, Дастина Московица и Эрика Шмидта. Стартап получил название Anthropic PBC. Anthropic (антропный), как объясняет Даниэла Амадей, означает “относительно человека”, то есть видение ИИ как помощника, а не вышедшего из-под контроля диктатора. Для этого в процессе обучения центральную часть занимает контролируемая обратная связь с человеком.
Что такое PBC? Это юридический статус компании, действующий в большинстве американских штатов, Италии и Франции. Его можно перевести как “Корпорация общественного блага”. То есть это коммерческая фирма с повышенными социальными обязательствами, такими как: учитывать влияние компании на общество и окружающую среду, стремиться к максимальной прозрачности деятельности, улучшать корпоративную культуру, заниматься благотворительностью – приносить пользу не только себе, но и обществу в целом. Большинство сотрудников относит себя к социальному и философскому движению “эффективный альтруизм”, которое занимается поиском способов улучшения жизни людей и применением их на практике.
Конституционный ИИ
“Мы верили в идею масштабирования. Именно отсюда появились GPT-2 и GPT-3. Но мы также верили в идею, что масштабирования недостаточно не только для решения проблем искусственного интеллекта, но и для того, чтобы решить проблемы с безопасностью.” (с) Дарио Амадей, основатель Anthropic PBC
Модель, которую Anthropic использует для разработок, Дарио называет “конституционный” ИИ. На начальных этапах – RL (Reinforcement learning), обучение языковой модели происходит как обычно: берутся тексты, информация и помещаются в программу. Пока никакого направления нейросети не дается, она просто анализирует и предлагает наиболее вероятную последовательность слов.
Далее начинается следующий этап – RLHF (RL from human feedback), обучение с помощью обратной связи от человека. Нанимаются подрядчики, которые тренируют ее и одобряют ответы в соответствии с инструкцией, которую им выдают. Метод этот непрозрачный, так как на самом деле проверить сложно, кто из, к примеру, 1000 человек и что одобрит на самом деле. Также сложно донести свое требование точно до людей, которых вы не знаете.
В случае с “конституционным” искусственным интеллектом все по-другому. Тот, кто задает задачи, составляет некий документ, который Дарио Амадей называет конституцией. Он содержит нормы, правила, загружается в нейросеть, которой дается команда действовать только строго руководствуясь этому документу и выступать в роли самокритика при обучении. Что помогает ИИ давать максимально нейтральные, немотивированные ответы.
Также специалисты компании провели новаторское исследование так называемой “механической интерпретируемости”. Это эксперимент, похожий на сканирование мозга нейросети, чтобы понять какие процессы происходят внутри, а не только изучать последовательности слов, которые она выдает. Оба эти метода Anthropic применила при создании своего флагманского продукта – языковой модели Claude.
Языковая модель Claude, чем она отличается от ChatGPT
“Мы работаем как единая сплоченная команда всего над несколькими крупномасштабными исследовательскими проектами. Мы ценим отдачу – продвижение наших долгосрочных целей управляемого, заслуживающего доверия ИИ, а не работу над более мелкими и конкретными задачами.” (с) Дарио Амадей, основатель Anthropic PBC
Пока единственным продуктом стартапа является нейросеть Claude 2, запущенная на платформе мессенджера Slack в июле 2023-го. Это третья, гораздо более улучшенная версия Claude 1 и Claude 1.3. По поводу названия мнения расходятся, одни причастные говорят, что она названа в честь ученого Клода Шеннона, инженера и криптоаналитика, а другие – что это просто приятное мужское имя, данное в противовес женским: Siri, Алиса, Cortana.
Так ли сильно Claude отличается от ChatGPT?
- На момент выхода последней версии главным отличием был объем информации, ограниченный декабрем 2022-го, тогда как продукт OpenAI был ограничен 2021-м годом.
- Он дает более развернутые ответы в решении математических задач.
- Более близкие к смыслу переводы стихов и художественной прозы.
- Дает ссылки на источники информации.
- Может признаться в собственном невежестве и не будет сочинять.
- Запрограммирован не давать провоцирующих и спорных ответов, чтобы не причинять вреда пользователям.
- Стандартная версия бесплатна для всех пользователей, в странах, где пока доступна.
- По некоторым данным, проявляет остроумие.
Тем не менее, несмотря на то, что отличия кажутся незначительными и не принципиальными, сейчас Claude 2 считается главным конкурентом самой популярной нейросети. Инвесторы и крупные партнеры тоже не заставляют себя ждать. В сентябре этого года стартап заключил сделку и договор о стратегическом партнерстве стоимостью $4 млрд с Amazon. Anthropic выбрал AWS (Amazon Web Services) как поставщика облачных услуг и чипов. В октябре Google инвестировала в компанию еще $2 млрд.
Предыдущим вложением были $300 млн в обмен на 10% акций и обязательство Anthropic покупать вычислительные ресурсы у Google Cloud. Общая сумма сделки предварительно составит $5 млрд. Что породило разговоры о желании Anthropic купить OpenAI и таким образом избавиться от соперника.
Правительство США тоже заинтересовано в разработке искусственного интеллекта. Но именно Дарио Амадей встречался в этом году в Белом Доме с вице-президентом Камалой Харрис. Предметом разговора было стратегическое сотрудничество и партнерство в области ИИ. Так что, авторитетный журнал Time назвал Дарио и Даниэлу Амадей самыми влиятельными людьми этого года в технологической индустрии.
“Не уверен, что думал конкретно о захвате власти ИИ, но думал, он станет отличным способом достижения власти. Страны будут бороться за него, люди будут злоупотреблять, он может злоупотреблять самим собой, но сама идея о том, что в мир приходит эта мощная вещь, была захватывающей и одновременно тревожащей.” (с) Дарио Амадей, основатель Anthropic PBC
Сложно сказать, какое будущее ждет один из самых перспективных и блестящих стартапов и как он выдержит давление корпораций, от влияния которых изначально стремился уйти. Но миссия Anthropic, стремящегося сделать ИИ безопасным, придания ему человечности, сейчас очень важна, ведь по сути чат-бот Claude – пробный шар, результат всего полуторагодичной работы. А заложенные им основы могут оказать колоссальное влияние на будущее всей индустрии.
Читайте также:
Спасибо за 👍👍👍 и подписку, заходите к нам ещё. А если вам нравится, что мы пишем – установите суперапп Gem Space, там еще много интересных каналов, которые ведут наши пользователи!