Согласитесь, со времен революций интернета, социальных сетей и криптовалют, цифровые технологии не создавали ничего подобного тому, что генерирует сегодня искусственный интеллект. Недавний прогресс в области AI и машинного обучения надолго нас оставил с открытыми ртами от уведенного и услышанного.
Одним из тех, кто несет ответственность за это явление, был ChatGPT, чат-бот OpenAI, который быстро стал вирусным за его удивительную способность отвечать на всевозможные вопросы и вести разговоры на естественном языке.
Позже настала очередь чата Bing «поражать публику». «Говорливый» чат-бот привлек внимание людей своей любопытной «личностью», правда ненадолго — Microsoft позаботилась об его ограничении и сегодня это жалкое подобие «птицы говоруна».
Как Майкрософт стал обладателем искина
До ноября 2022 года массовый доступ к инструментам на основе искусственного интеллекта не был реальностью. Они испытывались в закрытых лабораторных условиях и менее развитых версиях в таких приложениях, как Jasper или Notion. Сегодня любой, у кого есть подключение к Интернету, может воспользоваться ChatGPT или Bing и спросить у них:
«Как пройти в библиотеку?»
Однако для того, чтобы это «чудо» случилось, необходимо было свести воедино огромное количество составляющих. Другими словами, огромное количество факторов должно было объединиться, чтобы заложить основы генеративного ИИ, которым мы наслаждаемся сегодня и наблюдаем его эволюцию. И ключевой частью был доступ к огромным вычислительным мощностям.
Компании OpenAI — разработчику ChatGPT — нужен был высокопроизводительный суперкомпьютер для обучения своей модели искусственного интеллекта следующего поколения.
В то время OpenAI уже представила GPT и его эволюцию GPT-2 и готовилась сделать существенный скачок со своими моделями следующего поколения.
Покупка Майкрософтом компании и последующие инвестиции в 1 миллиард долларов сделали этот небольшой, но многообещающий стартап жизнеспособным.
Но деньги были не главное, что дала корпорация Майкрософт для дальнейшего развития AI. Облачная платформа Azure стала эксклюзивным поставщиком услуг и с этого момента все проекты OpenAI получили возможность обучаться, разрабатываться и запускаться на облачных серверах Microsoft.
Именно доступ к «суперкомпьютеру» Майкрософт стал отправной точной для быстрого развития машинного обучения.
Где взять суперкомпьютер?
У OpenAI не было финансовых ресурсов для создания собственных цифровых супермощностей, и Microsoft со своим капиталом обязалась их предоставить.
Но даже MS была не в состоянии это сделать одномоментно. Решение? Создавать. Задача, однако, выходила далеко за рамки сбора огромных вычислительных мощностей и обеспечения их работы в унисон.
Не нужно говорить, что запуск мощных компьютеров, работающих в «едином режиме» является чрезвычайно сложной задачей. Мощные компьютерные комплексы, в это трудно поверить, очень трудно настроить и сбоят они больше чем ваши настольные ПК, когда вы запускаете Office.
Например, даже Frontier, являющиеся самым мощным суперкомпьютером в мире, столкнулся со множеством проблем при запуске вычислений для AI.
Сердце ChatGPT имеет дух NVIDIA
Чтобы «не провалить» этот амбициозный проект, Microsoft выбрала самые мощные графические процессоры для центров обработки данных, которые существовали в то время, NVIDIA A100, выпущенный в середине 2020 года.
Это была графика с технологией Ampere и ядрами Tensor Core 3-го поколения, специально разработанными для высокопроизводительных вычислительных задач, таких как обучение ИИ и анализ данных.
Суперкомпьютер оснастили еще одной технологией NVIDIA, которая идет рука об руку с его графическими процессорами. Поскольку для достижения желаемой вычислительной мощности требовались тысячи видеокарт A100 (сколько из них не было указано), они были связаны с системами NVLink, двумя решениями, обеспечивающими прямую связь между графическим процессором, который масштабирует ввод-вывод (IO) нескольких GPU на сервере.
Основным требованием к конструкции было сделать так, чтобы возможности суперкомпьютера можно было масштабировать. Это позволило бы начать работу с определенной мощностью и увеличить ее при необходимости за счет обновления аппаратных компонентов. Именно под этой базой, стоимость которой достигала «нескольких сотен миллионов долларов», начал работать OpenAI.
Именно «неограниченные» возможности систем Azure с огромными наборами данных и триллионами параметров идеально подходят для обучения одной из самых продвинутых авторегрессионных языковых моделей, GPT-3.5, сердца вирусного чат-бота, о котором мы все говорим сегодня.
Туманное будущее AI
Но на этом все не заканчивается, а только начинается.
С одной стороны у OpenAI, есть необходимая инфраструктура для обучения модели ChatGPT, с другой — мощности, позволяющие ей работать и поддерживать миллионы пользователей, взаимодействующих с программой ИИ из различных географических мест.
Кстати, именно «вторая сторона», требует несколько иной аппаратной конфигурации.
Microsoft распределила «сотни тысяч» gpu NVIDIA A100 примерно в 60 дата-центрах, расположенных в разных уголках планеты. На этих ЦОДах и основывается доступ к ChatGPT людей по всему миру.
Их обслуживание совсем не дешево и по данным Forbes, поддержание этой сложной системы в рабочем состоянии стоит «миллионы долларов в день». И цена на услуги «умного помощника» будет только расти...