Слишком хорош, чтобы потерпеть неудачу? Удивительно, как высокоэффективная система может навредить вам
Представьте себе двух (человеческих) работников:
- Крис Неосторожный-это постоянное разочарование для вас, он хорошо выполняет свою задачу в 70% случаев, а в остальное время абсолютно съеживается. Наблюдать, как Крис делает 10 попыток, более чем достаточно, чтобы спровоцировать у вас ответ “о, боже”.
- Ронни-это совсем другая история. Вы видели Ронни в действии более сотни раз, и вы были неизменно впечатлены.
А вот и вопрос на миллион долларов. Какой работник более опасен для вашего бизнеса?
В задаче с высокими ставками ответом может быть Ронни.… но, возможно, не по первой причине, которая приходит на ум.
Речь идет не о плохих проектах
В другой статье я указывал, что сверхнадежные работники могут быть опасны, когда лицо, принимающее решения, невменяемо. Они “просто выполняют приказы”, даже если эти приказы ужасны, поэтому они могут усилить некомпетентность (или злобу). Но это не та логика, которую я приведу здесь, поскольку вы уже слышали, как я приводил этот аргумент. Давайте посмотрим на это под другим углом.
Предположим, что проект-замечательная идея, которая сделает мир лучше, если все будет сделано правильно, является ли Ронни Надежным все еще лучшим выбором?
Когда ты знаешь, что лучше не доверять
Дело в том, что ты знаешь, что не должна доверять Крису Беспечному. Для вас это очевидно. Вы ожидаете неудачи… вот почему ты не собираешься ставить дом на Криса. (Верно?) Вы не позволите некомпетентности застать вас врасплох, поэтому разработаете дизайн вокруг нее. Вы будете достаточно мудры, чтобы поставить предохранители на место для неизбежного бубу.
Вы также убедитесь, что внимательно следите за происходящим, поэтому тщательно следите за Крисом Кэрлесом. Но Ронни? Ты доверяешь Ронни. Зачем проверять или создавать системы безопасности? Ронни безупречна, верно?
Остерегайтесь надежного работника
Ронни не безупречна. Вы просто еще не видели сбоя — требуется больше данных, чтобы наблюдать точку перелома. Дело в том, что у вас не было возможности должным образом оценить, насколько катастрофическим может быть крах Ронни Рели.
Слишком большое доверие-это проблема. Когда система явно несовершенна, вы планируете ее ошибки. Вы не полагаетесь на идеальное исполнение.
Не понимая, что существует принципиальная разница между хорошим и совершенным, лидеры могут превратить благословение хорошего работника в проклятие высокого исполнителя.
В масштабе нет ничего идеального
Проблема в том, что вы думаете, что тщательно проверили Ронни, но это не так. Требуется гораздо больше, чем 100 попыток, чтобы увидеть, как выглядит ошибка. Увеличьте масштабы операций, и вас ждет неприятное удовольствие.
В то время как советы, приведенные в этой статье, применимы для работников-людей, они еще более актуальны для систем искусственного интеллекта и других масштабируемых решений. Одна из самых опасных вещей в решениях, основанных на математике и данных, заключается в том, что неспециалисты слишком доверяют им. Не будьте той легкой добычей, которая верит в совершенство в сложных задачах.
Когда вы увеличите масштаб, вы встретите длинный хвост.
Лучше всего предположить, что нет ничего идеального. Даже самые безопасные системы могут выйти из строя... особенно когда вы даете им много возможностей.
Округление длинного хвоста
Даже если ваша система была тщательно протестирована и оказалась на 99,99% хорошей, это все равно не означает, что она идеальна. К сожалению, если вы не будете осторожны, вы можете мысленно округлить это до 100%. Другими словами, вы отвергнете возможность ошибок, потому что их вероятность невелика. Это еще один способ, с помощью которого высокоэффективная система может быть более опасной, чем низкоэффективная... если вы ничего с этим не сделаете.
Не отвергайте *возможность* ошибок, когда их *вероятность* невелика.
Оставаться в безопасности
Что делает Ронни надежным и опасным здесь, так это не превосходная производительность. Угроза - это чрезмерное доверие.
Итак, каково же решение? Как вы пожинаете все преимущества совершенства, не подвергая себя риску? Просто! Постройте защитные сети для Ронни, как будто вы имеете дело с Крисом Небрежным. Тогда вы получите лучшее из всех миров.
То, что вы еще не заметили ошибки, еще не означает, что ваша система совершенна. Планируйте неудачу и стройте сети безопасности!
Независимо от того, решается ли эта задача людьми или машинами, никогда не стоит недооценивать важность сетей безопасности. Позволять себе быть убаюканным ложным чувством безопасности кажущейся безупречной работой-это плохое лидерство.
Доверять совершенству опасно. Думайте о совершенстве как о приятном бонусе, но никогда не полагайтесь на него.
Вместо этого задайте себе неприятные вопросы "что, если". Что делать, если ваш главный хирург заболел на работе? Что делать, если аппарат, контролирующий жизненные показатели пациента, выйдет из строя? Что делать, если водитель слишком устал, чтобы обращать внимание на дорогу? Что делать, если автоматизированная система распознавания лиц пограничного контроля неверно идентифицирует кого-то? Что делать, если человек, проверяющий паспорт, ошибается? Что будет дальше?
- Что будет дальше?”
Всякий раз, когда я вижу вызывающие тошноту злополучные приложения ИИ, та часть, которая заставляет мои волосы вставать дыбом, редко является самой автоматизацией. Это блаженное неведение строителей об ошибках. Иногда такое невежество граничит с преступлением.
Ошибки *будут* случаться.
Вопрос, который нужно задать об ошибках, не в том, “Произойдут ли они?” Так и будет. Вместо этого спросите:
Какие существуют системы безопасности для защиты людей от последствий этих ошибок?
Если вся система выйдет из строя — системы безопасности и все такое, — каков план, как все исправить?
Если нет плана по предотвращению и устранению вреда, пристегнитесь на случай катастрофы. Тот, кто отвечает за такой проект, хуже, чем некомпетентен. Они представляют угрозу для общества. Не будь таким человеком.
Люди против машин
Если ошибка настолько катастрофична, что неудача невыносима, то не автоматизируйте задачу и не позволяйте людям делать это. Или, если в вашей этике есть что-то, что говорит о том, что отказ может исходить от работника-человека, а не от работника-машины (суть многих дебатов об автономных транспортных средствах), используйте подход "человек в цикле".
"Лучше" - это не то же самое, что "идеально".
Но что бы вы ни делали, помните, что ошибки возможны. Люди совершают ошибки, системы искусственного интеллекта совершают ошибки. Даже если система искусственного интеллекта, которую вы развернете, совершит меньше ошибок, чем человеческая альтернатива, помните, что меньше-это не то же самое, что ни одной. "Лучше" - это не то же самое, что "идеально".
Всякий раз, когда задачи сложны или входные данные разнообразны, будут происходить ошибки.
Вера в миф о совершенстве может иметь ужасные последствия, поэтому не позволяйте математическому мышлению встать на пути здравого смысла. Всякий раз, когда задачи сложны или входные данные разнообразны, будут происходить ошибки.
Вкратце
Если нет плана, как справиться с ошибкой, результат может быть катастрофическим! Это может ударить вас гораздо сильнее, чем ошибка плохого исполнителя именно по той причине, что вы забыли спланировать это.
Поэтому, если вы мудры, вы выберете лучшую систему, но построите сети безопасности, как будто это худшая система.
