За последние несколько месяцев вокруг ИИ было безумное количество шумихи. Якобы Tesla будут полностью самоуправляемыми через год или два, ИИ будет умнее людей уже в следующем году, а армия из миллиарда роботов на базе ИИ заменит человеческих работников к 2040 году, и это лишь обещания ИИ, сделанные Илоном Маском в этом году. Вся индустрия ИИ переполнена такими предсказаниями и обещаниями, и кажется, что развитие ИИ идет по неостановимой экспоненциальной траектории, которую мы, люди, просто не можем остановить. Однако это далеко от истины. Видите ли, ИИ начинает сталкиваться с потолком развития, характеризующимся убывающей отдачей, что делает эти экстравагантные обещания совершенно пустыми. Позвольте мне объяснить.
Чтобы понять эту проблему, нам нужно понять основные принципы работы ИИ. Современные ИИ используют алгоритмы глубокого обучения и искусственные нейронные сети для поиска тенденций в данных. Затем они могут экстраполировать эти данные или генерировать новые данные по той же тенденции. Все начинается с "обучения" ИИ, когда ему подается огромное количество данных для анализа, что позволяет ему находить эти тенденции. После этого ИИ можно запросить для получения результата. Эта базовая концепция лежит в основе компьютерного зрения, самоуправляемых автомобилей, чат-ботов и генеративного ИИ. Это несколько упрощенное объяснение, но этого достаточно для понимания.
За последние несколько лет ИИ стали значительно более способными. Это частично благодаря лучшему программированию и разработке алгоритмов. Но на 90% это связано с тем, что ИИ обучались на значительно больших наборах данных. Это позволяет им точнее понимать тенденции в данных и, следовательно, точнее генерировать результаты. Но есть проблема: мы наблюдаем резкое снижение отдачи от обучения ИИ как с точки зрения данных, так и с точки зрения требуемой вычислительной мощности.
Начнем с данных. Скажем, мы создали простой ИИ компьютерного зрения, предназначенный для распознавания собак и кошек, и обучили его с использованием изображений и видео 100 собак и кошек, и он может правильно их идентифицировать в 60% случаев. Если мы удвоим количество обучающих изображений и видео до 200, его процент распознавания улучшится, но лишь незначительно, до примерно 65%. Если мы снова удвоим количество обучающих изображений и видео до 400, его улучшение будет еще менее значительным, до примерно 67,5%.
Это частично потому, что когда у вас меньший набор данных, каждое новое обучающее изображение дает пропорционально больше новых данных, чем добавление нового обучающего изображения в больший набор данных. Однако это также потому, что ИИ может быстро находить новые связи и тенденции в небольшом наборе данных, поскольку ему нужно найти тенденцию, которая работает с несколькими примерами. Но по мере увеличения набора данных нахождение новых и оригинальных тенденций и связей, которые работают для всего набора данных, становится все труднее. Эти новые тенденции и связи из больших наборов данных позволяют ИИ становиться лучше и более способным. Таким образом, мы видим, что количество обучающих данных, необходимых для улучшения ИИ на заданное значение, резко возрастает по мере достижения точки убывающей отдачи от обучения ИИ.
Но есть еще одна проблема. Обучение ИИ невероятно ресурсоемкое. ИИ должен сравнить каждую отдельную точку данных с каждой другой точкой данных в наборе, чтобы найти эти связи и тенденции. Это означает, что для каждого добавленного бита данных в обучающую базу данных ИИ объем вычислительной работы для обучения этого ИИ на этой базе данных увеличивается экспоненциально. Таким образом, даже если вам удастся получить огромное количество данных, необходимых для обучения этих все более и более сложных ИИ, количество физической вычислительной мощности и энергии, которые для этого потребуются, в конечном итоге возрастет до невозможного уровня.
К сожалению, есть доказательства того, что мы находимся на этапе, когда и убывающая отдача от роста обучающей базы данных, и экспоненциальное увеличение требуемой вычислительной мощности накладывают жесткий потолок на развитие ИИ.
Возьмем флагманский ИИ от OpenAI ChatGPT-4. Его улучшение по сравнению с ChatGPT-3 было меньше, чем улучшение ChatGPT-3 по сравнению с ChatGPT-2, и, хотя он был более точным, он все еще имел те же проблемы с галлюцинацией фактов и отсутствием понимания, что и ChatGPT-3. Теперь, OpenAI держит в секрете процесс разработки своих ИИ, но эксперты исследовали и обнаружили, что ChatGPT-3 использовал обучающую базу данных, примерно в 78 раз больше, чем ChatGPT-2, а ChatGPT-4 использовал базу данных, в 571 раз больше, чем ChatGPT-3! Тем не менее, несмотря на этот значительный рост размера обучающей базы данных, у ChatGPT-4 все еще есть значительные недостатки, которые сильно ограничивают его случаи использования. Например, ему нельзя доверять написание чего-либо, связанного с фактами, поскольку он все еще придумывает факты.
Некоторые оценки ставят объем обучающей базы данных ChatGPT-4 на уровне 45 ТБ текста. Это означает, что для следующей итерации, чтобы она была таким же большим улучшением по сравнению с ChatGPT-4, как ChatGPT-4 по сравнению с ChatGPT-3, обучающая база данных должна быть в десятки тысяч ТБ. Получение и подготовка такого объема текста, даже с сомнительными методами OpenAI, просто непрактичны. Однако использование этой базы данных для обучения их ИИ может потребовать столько энергии, что стоимость сделает ИИ совершенно нежизнеспособным, даже для некоммерческой организации.
Это не преувеличение. Генеральный директор OpenAI Сэм Альтман заявил, что для того, чтобы продвинутый ИИ стал жизнеспособным, необходим энергетический прорыв, такой как термоядерный синтез. К сожалению, даже если мы добьемся успеха в термоядерном синтезе, он, скорее всего, не станет дешевле, чем наша текущая энергия в этом веке или даже в следующем веке. Фактически, ни одна форма энергии не должна стать значительно дешевле, чем то, что мы имеем сейчас. Так что это предложенное решение проблемы энергии для ИИ глубоко вводит в заблуждение.
Эта точка зрения поддерживается очень серьезными исследованиями. Одно из них, проведенное Университетом Массачусетса в Амхерсте, изучило вычислительные и энергетические затраты, связанные с улучшением работы ИИ по распознаванию изображений до более чем 95% точности. Они обнаружили, что обучение такой модели будет стоить 100 миллиардов долларов и производить столько же углеродных выбросов, сколько город Нью-Йорк за месяц. Учитывая, что это для ИИ, который все еще ошибается в 5% случаев. Исследование также подчеркнуло, что повышение точности до 99% потребует экспоненциально больших затрат и выбросов углерода.
Вот почему Tesla никогда не разработает полностью самоуправляемые автомобили с текущим подходом. Их Autopilot и FSD могут ощущать мир вокруг них только через такой ИИ компьютерного зрения, и чтобы FSD стал полностью самоуправляемым, его точность распознавания изображений должна приближаться к 100%. Как показывает это исследование, это может потребовать гораздо больше денег, чем у Tesla есть, чтобы сделать их ИИ настолько хорошим.
Другими словами, если индустрия ИИ не найдет способа быть более эффективной в своем обучении и вычислительной нагрузке, она не сможет преодолеть этот предел, и развитие ИИ полностью застопорится. Теперь на горизонте есть возможные решения, такие как гораздо более эффективное оборудование для ИИ, включающее аналоговые и квантовые технологии, и новые архитектуры ИИ, требующие значительно меньших обучающих наборов данных. Однако эти концепции все еще находятся на начальной стадии и могут быть реализованы в реальном мире через десятилетия.
В общем, будьте готовы к тому, что ИИ значительно не оправдает ожиданий в ближайшие годы.