Недавно созданный в США Институт безопасности ИИ при Национальном институте стандартов и технологий (NIST) назначил свое руководство. Самым заметным кандидатом стал Пол Кристиано, бывший исследователь OpenAI, известный как своими знаниями в области безопасности ИИ, так и пессимистичным взглядом на будущее того же ИИ.
Биография Кристиано… удивляет. Он стал первопроходцем в разработке методики обучения ИИ с помощью обратной связи с человеком и одним из основателей некоммерческой организации, занимающейся вопросами соответствия ИИ целям человека. Однако его публичные заявления о 50-процентной вероятности «гибели» ИИ вызывают скепсис.
По сообщениям, некоторые сотрудники NIST опасаются, что это назначение может увести институт от объективной науки в сторону спекуляций на тему «обреченности ИИ». Связь Кристиано с «эффективным альтруизмом и долгосрочностью» — философиями, которые подчеркивают максимальное положительное влияние на будущие поколения, — также вызывает вопросы о потенциальной предвзятости.
Несмотря на эти опасения, Министерство торговли США подчеркивает квалификацию Кристиано. Он будет разрабатывать и оценивать модели ИИ, особенно те, которые имеют отношение к «национальной безопасности».