Миллионы жизней были спасены благодаря вмешательствам, которые мы принципиально не понимаем. Мало кто отказался бы принять спасительное лекарство - или, если уж на то пошло, аспирин - просто потому, что никто не знает, как оно работает.
Как и многие лекарства, лекарство от бодрствования Модафинил, которое продается под торговым названием Provigil, поставляется с небольшой, плотно сложенной бумажной брошюрой. По большей части его содержание - списки инструкций и мер предосторожности, диаграмма молекулярной структуры препарата - делают для анодного чтения. Подраздел «Механизм действия», однако, содержит предложение, которое само по себе может вызвать бессонницу: «Механизм (-ы), посредством которого модафинил способствует бодрствованию, неизвестен».
Provigil не уникально таинственный. Многие лекарства получают одобрение регулирующих органов и широко прописываются, хотя никто точно не знает, как они действуют. Эта загадка встроена в процесс обнаружения наркотиков, который часто происходит методом проб и ошибок. Каждый год любое количество новых веществ тестируется в культивируемых клетках или животных; лучшие и самые безопасные из них опробованы на людях. В некоторых случаях успех препарата быстро вдохновляет на новые исследования, в которых объясняется, как он работает, но не всегда. Аспирин был открыт в 1897 году, и до сих пор никто убедительно не объяснил, как он работал до 1995 года. Такое же явление существует в других областях медицины. Глубокая стимуляция мозга включает имплантацию электродов в мозг людей, которые страдают от определенных двигательных расстройств, таких как болезнь Паркинсона; он широко используется уже более двадцати лет, и некоторые считают, что его следует использовать для других целей, включая общее улучшение когнитивных функций. Никто не может сказать, как это работает.
Такой подход к открытию - сначала ответы, объяснения позже - накапливает то, что я называю интеллектуальным долгом. Можно обнаружить, что работает но, не зная как, почему но, это работает, и затем сразу применить это, предполагая, что основной механизм будет выяснен позже. В некоторых случаях мы быстро погашаем этот интеллектуальный долг. Но, в других, мы позволяем этому сложиться, полагаясь на десятилетия на знания, которые не полностью известны.
В прошлом интеллектуальный долг ограничивался несколькими областями, поддающимися открытию методом проб и ошибок, такими как медицина. Но это может измениться, поскольку новые методы в искусственном интеллекте, в частности, в машинном обучении, увеличивают нашу коллективную интеллектуальную кредитную линию. Системы машинного обучения работают путем выявления закономерностей в больших количествах данных. Используя эти шаблоны, они подвергают риску ответы на нечеткие открытые вопросы. Предоставьте нейронную сеть с помеченными изображениями кошек и других, не кошачьих предметов, и он научится отличать кошек от всего остального; предоставить ему доступ к медицинским записям, и он может попытаться предсказать вероятность смерти нового больного. И все же большинство систем машинного обучения не раскрывают причинно-следственные механизмы. Они являются статистически-корреляционными двигателями. Они не могут объяснить, почему они думают, что некоторые пациенты с большей вероятностью умрут, потому что они «не думают» в каком-либо смысле слова - они только отвечают. Как только мы начнем интегрировать их идеи в нашу жизнь, мы все вместе начнем накапливать все больше интеллектуальных долгов.
Достижения в области фармацевтики без теории показывают нам, что в некоторых случаях интеллектуальный долг может быть незаменимым. Миллионы жизней были спасены благодаря вмешательствам, которые мы принципиально не понимаем. Мало кто отказался бы принять спасительное лекарство - или, если уж на то пошло, аспирин - просто потому, что никто не знает, как оно работает. Но накопление интеллектуального долга имеет свои недостатки. Поскольку лекарства с неизвестными механизмами действия распространяются, количество тестов, необходимых для выявления нежелательных взаимодействий, должно увеличиваться в геометрической прогрессии. (Если принципы, по которым работали лекарства, были поняты, плохие взаимодействия можно было предсказать заранее.) Таким образом, на практике взаимодействия обнаруживаются после того, как на рынке появляются новые лекарства, способствуя циклу, в котором лекарства вводятся, а затем отказываются, с групповыми исками между ними. В каждом отдельном случае разумным является накопление интеллектуального долга, связанного с новым лекарством. Но интеллектуальные долги не существуют в изоляции. Ответы без теории, найденные и развернутые в разных областях, могут осложнить друг друга непредсказуемым образом.
Интеллектуальный долг, накапливаемый с помощью функций машинного обучения, рискует не только тем, что создается методом проб и ошибок старого образца. Поскольку большинство моделей машинного обучения не могут предложить причин для их текущих суждений, невозможно определить, когда они произошли сбои, если у человека еще нет независимого суждения об ответах, которые они дают. Осечки могут быть редкими в хорошо обученной системе. Но они также могут быть преднамеренно инициированы кем-то, кто знает, какие именно данные следует подавать в эту систему.
Рассмотрим распознавание изображений. Десять лет назад компьютеры не могли легко идентифицировать объекты на фотографиях. Сегодня системы поиска изображений, как и многие другие системы, с которыми мы ежедневно взаимодействуем, основаны на исключительно способных моделях машинного обучения. Поиск изображений в Google основан на нейронной сети Inception. В 2017 году исследовательская группа студентов и аспирантов MIT LabSix преуспела в изменении пикселей фотографии кошки, так что, несмотря на то, что она выглядела как кошка для человеческих глаз, Inception стала на 99,99% уверенной в этом была дана фотография гуакамоле (холодная закуска из пюрированной мякоти авокадо с добавлением помидоров, кинзы, сока лайма и других овощей и приправ). Было подсчитано, что существует небольшая вероятность того, что на фотографии изображена брокколи или посуда. Начальный этап, конечно, не может объяснить, какие особенности привели его к выводу, что кошка является кошкой; в результате нет простого способа предсказать, как он может потерпеть неудачу при представлении со специально созданными или поврежденными данными. Такая система, вероятно, имеет неизвестные пробелы в своей точности, которые составляют уязвимости для умного и решительного злоумышленника.