Автор Стивен Даунс
Общее
Дизайн для людей
Применение ИИ должно основываться на подходе, ориентированном на человека. Это означает, что дизайн должен быть основан на реальном использовании человеком, а не на идеализированной модели. Например, не каждый сможет задать правильный вопрос, используя правильный синтаксис; подход, ориентированный на человека, будет использовать подсказки и побуждать пользователей уточнить свой запрос.
Дизайн для плохих актеров
Мы уже видели случаи, когда помощники ИИ с благими намерениями заимствовали образцы нежелательного поведения, например, бот Microsoft Tay. Это может произойти, когда метод сбора данных обучения не принимает во внимание людей, которые вводят ложные, вводящие в заблуждение или сомнительные данные. Необходимо позаботиться о том, чтобы обучающие данные разрабатывались в контролируемой и надежной среде.
Остерегайтесь непредвиденных последствий
ИИ может отклониться от намеченных результатов проектирования двумя способами: он может обнаруживать закономерности в данных, которые, возможно, не ожидались проектировщиков, и это может привести к непреднамеренным приложениям. Например, ИИ, предназначенный для разработки ответов для разных сообществ на основе их среднего дохода, может, таким образом, также дифференцироваться по расе, с результатом, который может использоваться не только для предоставления более широких социальных услуг, но также для большего контроля и обеспечения соблюдения (этот конкретный пример известен как цифровая красная линия). Следовательно, приложения ИИ следует оценивать не только по конкретным намеченным результатам, но и по более широкому спектру показателей и с самых разных точек зрения.
Изучите данные
Данные обучения являются важнейшим компонентом любой системы искусственного интеллекта и часто являются областью, в которой ошибки чаще всего могут быть упущены. Данные (или, по крайней мере, образцы данных) должны быть изучены на предмет потенциальных ошибок в маркировке, записи данных и других системных ошибок. Подсказки (случаи, когда один тип данных используется для оценки другого типа явления, например, измерение температуры для выявления болезни) должны быть четкими и понятными. Данные следует оценивать не только по количеству, но и по репрезентативности; данные, которые использовались для обучения государственных служащих, полностью основанные на данных военной подготовки, были бы неадекватными, например, из-за различий в должностных функциях и результатах.
Сопротивляйтесь искушению перенести
В ИИ понятие «перенос» означает использование моделей ИИ, которые были обучены в одной области, и их применяют в другой области. Люди обладают «общим интеллектом» и естественным образом передают знания, но ИИ обучен в определенных областях, и нельзя ожидать, что он будет работать за пределами этой области. Например, «детектор обуви, обученный по стоковым фотографиям, лучше всего работает со стоковыми фотографиями, но имеет ограниченные возможности при тестировании с фотографиями мобильного телефона, созданными пользователями».
Разнообразие, равенство и вовлеченность
Обеспечьте справедливость
Приложения ИИ в образовании должны быть справедливыми и должны рассматриваться как справедливые. Это означает больше, чем «относиться ко всем одинаково», потому что данные ИИ легко фиксируют неравенство и несправедливость, не отмечая их как таковые. Таким образом, при разработке и развертывании приложений ИИ пользователи и их клиенты должны быть проинформированы о мерах, принимаемых для обеспечения справедливости, и о применяемом точном понимании справедливости.
Вовлекайте с согласия и взаимодействуя
Исследователи и разработчики ИИ должны придерживаться принципа «ничего обо мне без меня». Это означает, что использование инструментов искусственного интеллекта в обучении и развитии должно разрабатываться и применяться при эффективном участии как преподавателей, так и самих учащихся. Обратная связь должна информировать решения о пригодности метода, желательности результатов, надежности данных и результативности мер. Во всех случаях применение ИИ (или любой другой) технологии обучения должно основываться на добровольном согласии, как мы ожидаем (например) при любом лечении.
Определяйте сообщество более широко
Многие приложения для искусственного интеллекта и обучения разрабатываются с учетом интересов конкретного сообщества, однако их использование и влияние на дальнейшее развитие могут выходить далеко за пределы этой целевой аудитории. Поэтому рекомендуется предвидеть широкое определение сообщества пользователей, выходящее за рамки конкретной демографической области, домена или отдела. Менеджеры должны спросить, например, «а что, если бы этот инструмент использовался с детьми?» Широкое определение сообщества позволяет нам предвидеть использование даже в рамках общественного сервиса, чего мы, возможно, не ожидали, и гарантировать, что потребности недостаточно представленных групп принимаются во внимание.
Мониторинг использования и преимуществ
Справедливость и беспристрастность инструмента следует оценивать не только на этапе разработки, но и во время его использования. В частности, шаблоны использования могут выявить потенциальные проблемы с инструментом. Например, мы бы поставили под сомнение разработанный нами инструмент, если бы он использовался исключительно англоязычными, и совсем не франкоязычными. Менеджеры также должны отслеживать ожидаемые выгоды от использования инструмента, чтобы гарантировать включение людей, которых следует включить, и что инструмент не исключает определенные демографические данные или группы пользователей. Должны быть четкие руководящие принципы и стандарты для оценки инструментов ИИ в обучении.
Обеспечьте репрезентативные данные
Как упоминалось выше, данные следует проверять на качество и репрезентативность. Должны быть четко определены критерии для типов и пропорций используемых данных, представляющих различные демографические группы и особенно недопредставленные группы. Инструменты, которые делают прогнозы, должны основываться на реальной частоте событий, а соответствие с реальными данными должно измеряться и контролироваться на постоянной основе.
Ограничьте возможность смещения
При создании наборов данных исследователям рекомендуется предпринимать активные действия для ограничения возможности предвзятости. Словари и ярлыки следует пересмотреть, чтобы убедиться, что они не увековечивают стереотипы или предвзятые обобщения, а люди, создающие данные (особенно о себе), должны иметь возможность выходить за рамки заранее определенных таксономий. По возможности данные должны создаваться в нейтральной среде, где люди заинтересованы в использовании точных и всеобъемлющих аннотаций. Небольшие смещения в сборе данных могут быть увеличены с помощью ИИ-процесса, называемого усилением смещения.
Понимание ИИ
Узнайте о своем ИИ
Менеджеры и пользователи не должны рассматривать систему искусственного интеллекта как черный ящик или оракула. Они должны быть в состоянии изучить входные данные, чтобы увидеть основы, на которых ИИ делает свои выводы. Заимствование должно иметь возможность видеть и проверять различные виды или результаты различных входных данных. Пользователи ИИ должны понимать, что будет считаться соответствующим ответом ИИ, и научиться предсказывать, что ИИ будет производить при различных входных данных. По возможности используйте объяснимый ИИ, который создает таблицы характеристик вместе с результатами.
Проектируйте для интерпретации
По возможности используйте как можно меньшее количество входных данных для достижения надежных результатов. Это упрощает определение факторов, влияющих на результат. Выбирайте показатели, которые влияют на задачу, и, где это возможно, не используйте несвязанные показатели. Например, система, прогнозирующая успеваемость учащихся на тесте, должна включать такие данные, как предыдущие оценки и посещаемость во время урока, но не их рост или почтовый адрес.
Объясняйте решения, основанные на искусственном интеллекте
Для многих людей ИИ - это в буквальном смысле черный ящик, и когда ИИ возвращается с ответом - например, с оценкой за эссе - люди естественно хотят знать, почему было принято такое решение. Однако система ИИ может не дать разумного ответа. Оценка может основываться на сотнях или тысячах различных факторов, а не на простых принципах или объяснениях. Это затрудняет понимание решений на основе ИИ, что указывает на необходимость того, чтобы человек мог посмотреть на ввод и сказать, что могло бы повлиять на результат. Таким образом, рекомендуется включать такого человека в любое применение ИИ в обучении.
Надлежащее использование
Соблюдайте конфиденциальность
Поскольку разработка и использование ИИ требует сбора индивидуальных данных, ИИ имеет серьезные последствия для личной конфиденциальности. Большинство юрисдикций признают, что люди разумно рассчитывают на конфиденциальность личной жизни, и большинство процессов этики исследований требуют соблюдения конфиденциальности при сборе и использовании данных. Для этого необходимо не только анонимизировать данные перед использованием для обучения ИИ, но также обеспечить полную деидентификацию и невозможность восстановления идентичности постфактум.
Избегайте ненужного наблюдения
Использование технологий наблюдения с помощью искусственного интеллекта в учебной среде вызвало значительную негативную реакцию. Не собирайте тайно данные с целью обучения ИИ. На защищаемых государственных рабочих местах требуется и ожидается определенная степень наблюдения, однако наблюдение должно быть ограничено теми случаями, когда оно необходимо. Принято считать, что приложения для обучения и развития не входят в число таких случаев и что использование технологий наблюдения для контроля за соблюдением требований является чрезмерным использованием ИИ в образовании.
Не обманывайте пользователей
ИИ не следует использовать для обмана пользователей. Например, людей не следует заставлять поверить, что чат-бот, советник или интерактивный инструмент ИИ на самом деле является человеком. Также нельзя использовать инструменты искусственного интеллекта для подражания людям в социальных сетях или в учебной среде. Когда инструменты ИИ используются для создания или управления контентом, это использование должно быть объявлено. Обманчивое использование ИИ и технологий в целом широко не одобряется и в некоторых юрисдикциях подлежит судебному преследованию или санкциям за нарушение этических норм.
Безопасная технология искусственного интеллекта
Менеджеры должны обеспечить безопасность приложений ИИ для обучения и развития. Это особенно актуально, если технология обучения используется для сбора данных для будущего использования ИИ. В идеале, большая часть идентифицирующих личность данных должна быть очищена до того, как данные будут использоваться на компьютере отдельного учащегося, и, где это возможно, должна использоваться обработка на устройстве. Системы данных и алгоритмов ИИ должны проходить регулярный аудит безопасности для обеспечения целостности системы.
Будьте ответственными
Должна быть четкая линия ответственности за любое решение, принятое ИИ, так, чтобы было неприемлемо заявлять, что «ИИ принял решение». Подотчетность особенно важна для разнообразия, справедливости и инклюзивности, так что модели решений или рекомендаций, выносимых системой, могут быть определены как не результат предвзятости или предубеждений. Точно так же люди должны быть в состоянии взять на себя ответственность за надежность используемых данных и алгоритмов, а инструменты и процессы должны быть четко задокументированы. Если решение или рекомендация определены как «необъяснимые», они не должны приниматься. Всегда должна быть возможность обжаловать и отменить решения или рекомендации, основанные на ИИ. Технологии еще не готовы к созданию ИИ с набором навыков, достаточно широким, чтобы делать человеческие суждения.
Социальная ответственность
Ограничьте социальный вред
Воздействие ИИ не ограничивается вашим собственным использованием. Оно создает ответственность за снижение вероятности, серьезности и масштаба ущерба, причиненного использованием вашего приложения в целом. OpenAI предоставляет набор рекомендаций по безопасности, чтобы помочь в этом. Он рекомендует такие методы, как ограничения размера для обработки данных, ограничения скорости вызовов API, фильтры содержимого для темы и небезопасного содержимого, а также сбор отзывов пользователей.
Сообщите об ограничениях
Даже если ограничения конкретного приложения ИИ хорошо известны разработчикам и исследователям, о них необходимо четко сообщить конечным пользователям и их клиентам. Это важно, потому что результаты конкретного приложения ИИ могут побудить людей сделать выводы, выходящие за рамки того, что подтверждается данными и алгоритмом. Например, рекомендация, созданная ИИ, должна быть изображена как «вариант, предложенный ИИ», а не как «лучший вариант».
Предотвратите вред
Разработчики искусственного интеллекта должны предвидеть и минимизировать возможность ущерба в результате использования приложения. Вред может включать физические травмы, психологический или социальный вред, повреждение или потерю собственности или вред окружающей среде. Сюда входят риски, возникшие в результате бедствия, дезинформации или радикализации. Опять же, для этого может потребоваться наложение ограничений на тип данных, используемых в качестве входных, а также постоянный мониторинг не только результатов, но и воздействия, которое они оказывают на общество в целом.
Ограничьте вредные значения
ИИ может создавать проблемы с безопасностью, когда вредоносные значения внедряются в приложение или данные, используемые для обучения приложения. Это не ограничивается очевидными опасениями по поводу предвзятости, предрассудков и стереотипов, но также и более общими наборами ценностей, которые могут причинить вред, такими как воинственность и склонность к конфронтации, подстрекательство к насилию, жадность и корыстная экономическая ориентация, ксенофобия и нетерпимость. Хотя невозможно полностью исключить вредоносные значения или даже конкретно определить, какие значения являются вредными, разработчики и пользователи ИИ, тем не менее, должны осознавать этот риск.
Тест на надежность
ИИ, как и любую технологию, следует проверять на надежность, чтобы убедиться, что приложение работает так, как задумано, вряд ли остановится или прекратит работу без уведомления, не будет ухудшаться производительность (например, замедление из-за узкого места фильтра) или не будет производить случайный или непредсказуемый результат. Должен быть график обслуживания (например, для обеспечения обновления регистраций доменов и сертификатов безопасности) и тестирования производительности обновлений программного обеспечения.
Некоторые ресурсы
Этика, аналитика и обязанность проявлять осторожность https://docs.google.com/document/d/1I-9SUZbSTfZbOuYeGm5JIMV3ilw8vPIT1l67jteiF8w/edit?usp=sharing
FTC. Использование искусственного интеллекта и алгоритмов. https://www.ftc.gov/news-events/blogs/business-blog/2020/04/using-artificial-intelligence-algorithms
Google AI. Ответственные практики искусственного интеллекта. https://ai.google/responsibilities/responsible-ai-practices/
OpenAI. Лучшие практики безопасности. https://beta.openai.com/docs/safety-best-practices/recommendations
Тони Херст. Условия взаимодействия с OpenAI API. https://blog.ouseful.info/2021/05/20/terms-of-engagement-with-the-openai-api/