Пять дней хаоса в OpenAI выявили слабости в саморегулировании компании. Это беспокоит тех, кто считает, что искусственный интеллект представляет собой существенный риск, а также сторонников регулирования в области искусственного интеллекта. Новый босс OpenAI - остался прежним. Однако компания, а также индустрия искусственного интеллекта, возможно могли кардинально изменены за последние пять дней драмы. Сэм Альтман, генеральный директор, сооснователь и главная фигура в OpenAI, был отстранен от должности советом директоров в пятницу. К вечеру вторника, после массовых протестов большинства сотрудников стартапа, Альтман был вновь на своем месте, а большая часть существующего на тот момент правления, ушла. Однако тот совет, в основном был независим от операций OpenAI и следовало заявлению о миссии "для блага человечества". Этот момент был критически важным для уникальности компании.
Когда Альтман в 2023 году предупреждал СМИ и различные правительства о существенных опасностях технологии, которую сам строил, он изображал уникальную структуру OpenAI, представляющую собой некоммерческую организацию с коммерческим подразделением - как преграду для неразумного развития мощного искусственного интеллекта. Независимо от того, что Альтман делал с миллиардами от Microsoft, правление могло держать его, и других лидеров компании под контролем. Если бы Альтман начал действовать опасно или вопреки "интересам человечества", с точки зрения правления, группа могла бы его исключить.
"Правление может уволить меня, я думаю, что это важно", - сказал Альтман в июне Bloomberg.
"Оказывается, они не могли его уволить, и это было плохо", - говорит Тоби Орд, старший исследователь по философии в Оксфордском университете и выдающийся представитель тех, кто предупреждает, что искусственный интеллект может представлять угрозу для человечества.
Хаотичная перестановка руководства в OpenAI завершилась пересмотром состава совета директоров, в который вошли представители технологической индустрии и бывший министр финансов США Ларри Саммерс. Два директора, так же связанные с движением "эффективного альтруизма", были исключены из состава совета. Это показало существующие разногласия относительно того, каким должно быть управление будущего искусственного интеллекта. Результат стоит воспринимать совершенно по-разному. Существуют несколько сторон движений человечества. Те кто опасается, что искусственный интеллект уничтожит человечество - называют трансгуманистами, вторые считают, что технологии ускорят наступление утопического будущего. А так же существуют ещё люди, которые верят в свободный рыночный капитализм. Так же есть люди, которые смотрят на проблему более реальным взглядом отвечающее сдерживания техно гигантов, которым нельзя доверять в "сбалансированном" отношении потенциального вреда от мощных технологий и желанием заработать деньги.
"До некоторой степени это был курс на столкновение, который был задан давно", говорит Орд, которого также считают одним из соучредителей движения "эффективного альтруизма", части которого сильно увлекаются более мрачным концом спектра рисков, связанных с искусственным интеллектом. "Если это действительно выглядит так, что некоммерческий совет управления OpenAI был фундаментально бессильным в реальном воздействии на поведение Альтмана, тогда, думаю, выяснение того, что он был бессилен, возможно, было хорошей махинацией".
"Пробел в управлении"
Причина того, что совет директоров OpenAI решился выступить против Альтмана, всё ещё остается тайной. В объявлении о том, что Альтман ушел с поста генерального директора, сказано, что "он не был последовательно откровенен в своей коммуникации с советом, что затруднило его способность выполнять свои обязанности". Позднее внутреннее мемо OpenAI уточнил, что отстранение Альтмана "не было вызвано злоупотреблением". Эммет Шир, второй из двух исполняющих обязанности генерального директора, управлявших компанией, написал это после назначении в должности.
Его спросили за что убрали Альтмана.
"Совет не убирал Сэма из-за каких-либо проблем касаемо разногласия по вопросам безопасности", - написал он.
"Их решение было никак не было связанно с этим".
Он пообещал провести расследование причин отстранения Альтмана.
Возникший вакуум породил слухи, включая те, что Альтман уделял много времени внешним проектам, или возможно был слишком уступчив к Microsoft. Он также был сторонником теории заговора, вроде идеи о том, что OpenAI создала искусственный общий интеллект (AGI), и что совет директоров отключил выключатель на основании совета главного ученого, сооснователя и члена совета Ильи Суцкевера.
"Я знаю только одно, и я заявляю с уверенностью, что у нас нет AGI", - говорит Дэвид Шрайер, профессор практики, искусственного интеллекта и инноваций в Бизнес-школе Имперского колледжа в Лондоне.
"Я заявляю с уверенностью, что произошёл колоссальный провал в управлении".
Шрайер, который был членом советов нескольких технологических компаний, говорит, что эта неудача обусловлена не только очевидным напряжением между некоммерческой миссией совета, но и коммерческими желаниями руководителей и инвесторов, участвующих в коммерческой части OpenAI. Это также следствие быстрого роста компании по размерам и влиянию, отражающего растущее влияние отрасли искусственного интеллекта. У "ChatGPT заняло всего лишь шесть недель, чтобы вырасти от нуля до 100 миллионов пользователей.
Всемирной паутине интернет - потребовалось семь лет, чтобы достичь такого масштаба", - говорит Шраер.
"Семь лет - этого времени достаточно для того, чтобы человеческий мозг смог адаптироваться с темпами технологий. Шесть недель - этого времени едва ли хватает для назначения заседания совета директоров".
Несмотря на статус совета директоров на бумаге, сложность и масштаб деятельности OpenAI гораздо сложнее в понимании, и возможности его контролировать, считает Шрайер. Он считает это тревожным сигналом, учитывая реальную и немедленную оценку рисков технологии искусственного интеллекта. Предприятия, подобные OpenAI, "определенно не являются научными проектами.
Они теперь даже не являются "просто компаний" по производству программного обеспечения", - говорит он. "Это глобальные предприятия, которые оказывают значительное влияние на то, как мы мыслим, как голосуем, как управляем нашими компаниями, как взаимодействуем друг с другом. И, следовательно, здесь требуется зрелый и надежный механизм управления".
Тест-кейс
Регуляторы по всему миру будут внимательно следить за тем, что произойдет дальше в OpenAI. Во вторник, когда Альтман возвращался в OpenAI, Федеральная торговая комиссия США проголосовала за предоставление сотрудникам регулятора полномочий расследовать компании, предоставляющие услуги на основе искусственного интеллекта, позволяя им законно требовать предоставления документов, свидетельств и других доказательств.
Драма в руководстве компании развернулась на решающем этапе переговоров по историческому акту об искусственном интеллекте Европейского союза — законодательному акту, который может задать тон вопросам регулирования по всему миру. Закаленные предыдущими неудачами в смягчении социальных последствий технологических платформ, ЕС все более активно подходит к регулированию крупных технологических компаний. Однако официальные представители ЕС и государства-представители разошлись во мнениях касаемо того, следует ли строго регулировать компании в области искусственного интеллекта или всё же разрешить им определенную степень саморегулирования.
Одним из основных препятствий в переговорах ЕС является вопрос о том, следует ли регулировать создателей, так называемых базовых моделей, таких как GPT-4 от OpenAI, или законодательство должно сосредотачиваться на приложениях, которые создаются на базе этих базовых моделей. Аргумент за выделение базовых моделей заключается в том, что, будучи искусственными интеллектуальными системами с различными возможностями, они будут лежать в основе множества различных приложений, как, например, GPT-4, который обеспечивает функционирование чат-бота ChatGPT от OpenAI.
На этой неделе Франция, Германия и Италия заявили, что поддерживают "обязательное саморегулирование посредством кодексов поведения" для базовых моделей, как указано в совместном документе, изначально опубликованном Reuters. Это фактически предполагает, что OpenAI и другим можно доверять в поддержании собственной технологии в порядке. Франция и Германия - дома для двух ведущих в Европе создателей базовых моделей, Mistral и Aleph Alpha. На платформе X (бывший twitter), гендиректор Mistral Артур Менш высказался в пользу идеи того, что он может контролировать свою работу лично.
"Мы не регулируем язык программирования C, потому что его можно использовать для разработки вредоносного программного обеспечения", - сказал он.
Но для сторонников более сильного регулирования в области искусственного интеллекта, последние события нескольких дней показывают, что саморегулирование недостаточно для защиты общества.
"То, что произошло вокруг этой драмы, вокруг Сэма Альтмана, показывает нам, что мы не можем полагаться на видение генеральных директоров или послов этих компаний, а вместо этого нам нужно иметь регулирование", - говорит Брандо Бенифей, один из двух членов Европейского парламента, возглавляющих переговоры по новым правилам. "Эти события показывают нам, что в управлении этими предприятиями есть ненадежность и непредсказуемость".
Выдающаяся неудача структуры управления OpenAI, вероятно, усилит призывы к более сильному общественному контролю.
"Правительства - единственные, кто может сказать нет инвесторам", - говорит Николя Моэс, директор Европейского управления искусственным интеллектом в Фьючер Сосайети, брюссельском исследовательском центре.
Румман Чаудхури, основатель некоммерческой организации Humane Intelligence и бывший руководитель команды Twitter по этическому искусственному интеллекту, считает, что кризис и перезагрузка OpenAI должны стать сигналом бдительности. Эти события демонстрируют, что идея этического капитализма - корпоративных структур, объединяющих некоммерческие и коммерческие сущности, не сработает - нужны действия со стороны правительства.
"В каком-то смысле я рад, что это произошло", - сказал Чаудхури об уходе и возвращении Альтмана.
Doom Loops (Замкнутые петли апокалипсиса)
Среди тех, кто более пессимистично относится к рискам искусственного интеллекта, драма вокруг Альтмана вызвала различные реакции. Привлекая экзистенциальный риск в мировые разговоры с трибуны многомиллиардной технологической компании, генеральный директор OpenAI выдвинул на передний план идеи, относительно негативно воспринимаемых в некоторых кругах "эффективных альтруистов". Однако люди, внутри этого сообщества, которые первыми вынашивали эти идеи, не были слепы к несоответствию позиции Альтмана, даже когда он поднимал их фортуны.
Стратегия Альтмана по привлечению миллиардов долларов и партнерству с технологическим гигантом для продвижения всё более продвинутого искусственного интеллекта, признавая при том, что он не до конца понимает, к чему это может привести, трудно соотнести с его заявленными опасениями о событиях, способных привести к вымиранию. Три независимых члена совета директоров, которые, как сообщается, возглавили решение об отстранении Альтмана, имели связи с эффективным альтруизмом (EA), и их обвинение некоторыми сторонниками Альтмана — включая влиятельных представителей Силиконовой долины — вызывает недоумение даже у членов сообщества EA, которые ранее выражали поддержку Альтману.
Возникновение Альтмана в качестве публичного олицетворения пессимизма по поводу искусственного интеллекта также раздражало тех, кто более обеспокоен непосредственными рисками, создаваемыми доступным, мощным искусственным интеллектом, чем научно-фантастическим сценарием. Альтман неоднократно просил правительства регулировать его и его компанию ради блага человечества:
«Мой худший страх заключается в том, что мы — область, технология, индустрия — причиним значительный вред миру», — сказал Альтман на слушаниях в Конгрессе в мае, говоря, что он хочет сотрудничать с правительствами, чтобы предотвратить это.
«Я думаю, что вся идея разговора о том, 'Пожалуйста, регулируйте нас, потому что, если вы этого не сделаете, мы уничтожим мир и человечество', — полная чушь», — говорит Райид Гхани, выдающийся профессор Карнеги-Меллонского университета, занимающийся исследованиями в области искусственного интеллекта и общественной политики.
«Я думаю, что его заявления отвлекают от реальных рисков, которые происходят сейчас вокруг потери рабочих мест, дискриминации, прозрачности и ответственности».
В итоге, хоть Альтман и был восстановлен, OpenAI и другие ведущие стартапы в области искусственного интеллекта выглядят немного иначе, после утихшей
пятидневной бури. Создатели ChatGPT и их конкуренты, работающие над чат-ботами или генераторами изображений, кажутся менее утопическими проектами, стремящимися к лучшему будущему, и больше похожими на обычные предприятия, в первую очередь мотивированные получением прибыли на капитале своих инвесторов. Выходит, что искусственный интеллект подобен другим областям бизнеса и технологии, где все происходит в гравитационном поле крупных технологических компаний, обладающих огромной вычислительной мощностью, капиталом и долей рынка, для того что бы доминировать.
Описав новый состав совета, объявленный вчера, OpenAI назвала его временным и ожидает добавление ещё некоторых имен. Окончательный состав совета, следящим за Альтманом, вероятнее всего, будет более насыщен технологиями и менее насыщен темой гибели. Так же аналитики предсказывают, что как совет, так и компания, будут теснее сотрудничать с Microsoft, которая обещала $13 миллиардов OpenAI. Генеральный директор Microsoft Сатья Наделла выразил свое раздражение в интервью СМИ в понедельник касаемо того, что совет может удивить его.
«Я буду очень, очень ясен, мы никогда не попадем в ситуацию, когда нас снова удивят, как это произошло недавно. Больше никогда.», — сказал он в совместном выпуске подкастов Pivot и Kara Swisher On. «Это всё».