В мире искусственного интеллекта (ИИ) происходит настоящий прорыв. Илон Маск, известный предприниматель и инноватор, представил свой новый проект - компанию XAI, целью которой является разработка ИИ, способного понять истинную природу вселенной. Одним из первых продуктов компании стал чат-бот Grock, который демонстрирует впечатляющие результаты и даже превосходит ChatGPT в некоторых аспектах.
История XAI
Компания XAI была основана 9 марта 2023 года в Неваде и позже перенесена в Сан-Франциско. Официальная миссия компании - понять истинную природу вселенной, и для этого команда XAI включает разработчиков, создавших важные инновации в машинном обучении. Илон Маск построил суперкомпьютер для тренировки ИИ за 122 дня, что является беспрецедентным достижением.
Технологии XAI
Команда XAI разработала оптимизатор Adam и технологии нормализации, которые позволяют обнаруживать состязательные примеры для ИИ. Технологии включают трансформер XL и автоформализацию, что делает их одним из лидеров в области машинного обучения.
Первый продукт XAI - чат-бот Grock
Выпущенный в ноябре 2023 года, Grock имеет доступ к платформе *X и может использовать актуальную информацию. Он также может ругаться и флиртовать, что делает его уникальным. Первая модель Grock содержала 33 миллиарда параметров, и Grock 1 достиг впечатляющих результатов на тестах. Grock 2 работает с изображениями и показывает результаты лучше ChatGPT.
Суперкомпьютер Colossus
XAI использовала мощности серверов OpenAI для обучения, но в сентябре 2024 года был построен суперкомпьютер Colossus из 100 тысяч графических процессоров. Colossus использует стойки с жидкостным охлаждением и уникальные серверы. Система охлаждения включает два контура для подачи и отвода воды, и чиллеры, которые охлаждают воду на несколько градусов для повторного использования.
Высокоскоростные соединения и сетевые карты
Серверы соединены высокоскоростными каналами Ethernet на 400 Гбит/с, и каждый сервер имеет девять таких подключений, обеспечивая общую пропускную способность 3,6 Тбит/с. Используются сетевые карты NVIDIA BlueField 3 с встроенными процессорами.
Организация кабельных систем и память
Оптоволоконные кабели индивидуально нарезаны и промаркированы, и кабельные трассы напоминают речное русло, что важно для обслуживания. Используется распределенная система хранения на базе NVMe накопителей, и батареи Tesla Megapack сглаживают колебания потребления энергии при обучении нейросетей.
Инвестиции и планы на будущее
В 2024 году компания привлекла 6 миллиардов долларов инвестиций, и планируется увеличить количество GPU до миллиона. Однако возникает вопрос о необходимости таких энергозатрат и пространства.
Квантовые компьютеры и будущее вычислений
Google представил квантовый процессор Willow, который выполняет вычисления за пять минут. Квантовые компьютеры могут обрабатывать данные, недоступные классическим машинам. Будущее за гибридными системами, и важно учитывать качество данных, а не только мощность.
Заключение
Технологии развиваются быстрее, чем когда-либо, и компания XAI является одним из лидеров в этой области. Суперкомпьютер Colossus и чат-бот Grock демонстрируют впечатляющие результаты, и будущее за гибридными системами.
X (ранее Twitter) - соцсеть заблокирована в стране с 2022 года по решению Роскомнадзора.