Добавить в корзинуПозвонить
Найти в Дзене
DigiNews

Исследователь безопасности AI из Anthropic оценил ситуацию, выслушал стороны, и теперь ясно, что необходимо предпринять

Моральная ясность через крайне расплывчатые высказывания. Уход сотрудника Anthropic Мринан Шармы и его опасения по поводу будущего ИИ и «метакзиса». — gizmodo.com До сегодняшнего дня Мринан Шарма возглавлял команду исследователей в области безопасности в Anthropic, компании, стоящей за популярным ИИ-чат-ботом Claude. Он ушел в отставку в понедельник и публично опубликовал письмо, которое он разослал своей команде перед уходом, в котором выразил глубокую обеспокоенность… чем-то. В письме Шарма подробно рассказывает о своем вкладе в обеспечение безопасности ИИ, перечисляя успехи на своей должности, включая «понимание ИИ-подхалимства и его причин; разработку мер защиты для снижения рисков, связанных с биотерроризмом с использованием ИИ; внедрение этих мер в производство; и написание одного из первых кейсов по безопасности ИИ». Его последний проект, как он написал, заключался в «понимании того, как ИИ-помощники могут сделать нас менее человечными или исказить нашу человечность». Он также з

Моральная ясность через крайне расплывчатые высказывания. Уход сотрудника Anthropic Мринан Шармы и его опасения по поводу будущего ИИ и «метакзиса». — gizmodo.com

До сегодняшнего дня Мринан Шарма возглавлял команду исследователей в области безопасности в Anthropic, компании, стоящей за популярным ИИ-чат-ботом Claude. Он ушел в отставку в понедельник и публично опубликовал письмо, которое он разослал своей команде перед уходом, в котором выразил глубокую обеспокоенность… чем-то.

В письме Шарма подробно рассказывает о своем вкладе в обеспечение безопасности ИИ, перечисляя успехи на своей должности, включая «понимание ИИ-подхалимства и его причин; разработку мер защиты для снижения рисков, связанных с биотерроризмом с использованием ИИ; внедрение этих мер в производство; и написание одного из первых кейсов по безопасности ИИ». Его последний проект, как он написал, заключался в «понимании того, как ИИ-помощники могут сделать нас менее человечными или исказить нашу человечность».

Он также заявил, что эта работа важна как никогда из-за неопределенной и в основном неясной угрозы, нависшей на горизонте. «Я постоянно размышляю о нашей ситуации. Мир в опасности. И не только от ИИ или биооружия, но и от целого ряда взаимосвязанных кризисов, разворачивающихся прямо сейчас», — написал он.

Хотя он и не называет эти опасности, он оставил, назовем это полезным, сноску для дальнейшего пояснения: «Некоторые называют это «поликризисом», подкрепленным «метакзисом»». Понятно! Чтобы лучше понять эту идею, он процитировал книгу Дэвида Дж. Темпла «Первые принципы и первые ценности», и это действительно кроличья нора, в которую стоит нырнуть.

Пара слов об этом тексте: во-первых, подзаголовок: «Сорок два тезиса о космоэротическом гуманизме, метакзисе и грядущем мире». Космоэротический гуманизм, по мнению Центра мировой философии и религии, — это «мировое философское движение, направленное на реконструкцию краха ценностей в основе мировой культуры» и является «не просто теорией, а движением, которое меняет само настроение Реальности». Это определенно слова, поставленные в ряд.

Чтобы упростить концепцию космоэротического гуманизма, можно сказать, что мы переживаем фундаментальный кризис человечества, вызванный утратой общего понимания мира, и стремимся создать новую общую историю, которая представит эволюцию человечества как «Историю любви Вселенной».

Во-вторых, автор книги, Дэвид Дж. Темпл, — это не совсем человек. Это псевдоним, объединяющий группу писателей, связанных с Центром мировой философии и религии, в том числе Марка Гафни и Зака Стейна в качестве основных авторов. Стоит отметить, что Гафни был обвинен в сексуальных домогательствах несколькими жертвами, включая двух женщин, которые были несовершеннолетними на момент предполагаемого проступка, и ему был запрещен доступ в движение «Еврейское возрождение», частью которого он ранее был. Возможно, не тот человек, которого вы хотели бы видеть в центре создания «истории любви» общества.

Возвращаясь к Шарме, он сказал, что, хотя и гордится работой, проделанной для обеспечения безопасности ИИ, он знал, что пришло время двигаться дальше, и, казалось, намекнул, что, возможно, Anthropic не оправдывает свой тщательно выверенный публичный имидж «хорошей» ИИ-компании. «За все время работы здесь я неоднократно видел, как трудно по-настоящему позволить нашим ценностям управлять нашими действиями», — написал он. «Я видел это в себе, в организации, где мы постоянно сталкиваемся с давлением, заставляющим откладывать на потом то, что важнее всего, и в более широком обществе тоже».

Gizmodo обратился в Anthropic за комментарием по поводу ухода Шармы, но на момент публикации ответа не получил.

Шарма, что вполне понятно, сказал, что хочет заниматься делом, которое позволит ему действовать в соответствии со своими принципами и сохранять свою целостность. «Именно удерживая эту ситуацию и слушая, насколько это возможно, я понимаю, что должен делать», — написал он. Так какую же ясность он обрел, можете спросить вы? Будет ли он выступать в качестве информатора и делиться тем, что видел изнутри отрасли и Anthropic в частности? Возможно, он станет видным голосом, предотвращающим использование ИИ опасными и безрассудными способами?

«Я надеюсь изучить поэзию и посвятить себя практике смелой речи», — написал он. Удачи, парень.

Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.

Автор – AJ Dellinger

Оригинал статьи