Grok - это искусственный интеллект, созданный по образцу "Путеводителя автостопом по Галактике", поэтому он способен ответить практически на все и, что гораздо сложнее, даже подсказать, какие вопросы задавать!
Grok создан для того, чтобы отвечать на вопросы с долей остроумия, и в нем есть бунтарская жилка, поэтому, пожалуйста, не используйте его, если вы ненавидите юмор!
Уникальное и фундаментальное преимущество Grok заключается в том, что он обладает знаниями о мире в режиме реального времени с помощью платформы 𝕏. Он также ответит на острые вопросы, которые отвергаются большинством других систем искусственного интеллекта.
Grok все еще находится на стадии раннего бета-тестирования - лучшее, что мы смогли сделать за 2 месяца обучения, – поэтому ожидайте, что с вашей помощью он будет быстро улучшаться с каждой неделей.
Спасибо вам,
команда xAI
Почему мы создаем Grok
В xAI мы хотим создать инструменты искусственного интеллекта, которые помогут человечеству в его стремлении к пониманию и знаниям.
Создавая и совершенствуя Grok, мы стремимся:
- Соберите отзывы и убедитесь, что мы создаем инструменты искусственного интеллекта, которые приносят максимальную пользу всему человечеству. Мы считаем, что важно разрабатывать инструменты искусственного интеллекта, полезные людям любого происхождения и политических взглядов. Мы также хотим расширить возможности наших пользователей с помощью наших инструментов искусственного интеллекта в соответствии с законом. Наша цель с Grok - изучить и продемонстрировать этот подход публично.
- Расширение возможностей в области исследований и инноваций: Мы хотим, чтобы Grok стал мощным помощником в исследованиях для любого человека, помогая ему быстро получать доступ к актуальной информации, обрабатывать данные и выдвигать новые идеи.
Наша конечная цель состоит в том, чтобы наши инструменты искусственного интеллекта помогали в достижении понимания.
Путешествие на Grok-1
Движок, на котором работает Grok, - Grok-1, наш модуль frontier LLM, который мы разрабатывали в течение последних четырех месяцев. Grok-1 прошел множество итераций за этот промежуток времени.
После анонса xAI мы обучили прототип LLM (Grok-0) с 33 миллиардами параметров. Эта ранняя модель приближается к возможностям LLaMA 2 (70B) по стандартным тестам LM, но использует только половину своих обучающих ресурсов. За последние два месяца мы значительно улучшили возможности логического анализа и кодирования, что привело к созданию Grok-1, современной языковой модели, которая стала значительно мощнее, достигнув 63,2% в задаче кодирования на уровне пользователя и 73% в MMLU.
Чтобы понять, каких улучшений возможностей мы добились с помощью Grok-1, мы провели серию оценок с использованием нескольких стандартных тестов машинного обучения, предназначенных для измерения математических способностей и логического мышления.
GSM8k: словесные задачи по математике в средней школе (Коббе и др., 2021), с использованием подсказки "цепочка мыслей".
MMLU: Междисциплинарные вопросы с множественным выбором (Hendrycks et al., 2021), представлены 5 примеров в контексте.
HumanEval: задача завершения кода Python (Chen et al. 2021), нулевой результат оценен для прохождения @ 1.
МАТЕМАТИКА: задачи по математике для средней и старшей школы, написанные на LaTeX (Hendrycks et al., 2021), с фиксированным 4-кратным запросом.
В этих тестах Grok-1 продемонстрировал высокие результаты, превзойдя все другие модели в своем вычислительном классе, включая ChatGPT-3.5 и Inflection-1. Его превосходят только модели, которые обучались с использованием значительно большего объема обучающих данных и вычислительных ресурсов, таких как GPT-4. Это демонстрирует быстрый прогресс, которого мы добиваемся в xAI в обучении LLM с исключительной эффективностью.
Поскольку эти тесты можно найти в Интернете, и мы не можем исключить, что наши модели были непреднамеренно обучены на них, мы вручную оценили нашу модель (а также Claude-2 и GPT-4) на венгерских национальных выпускных экзаменах средней школы по математике 2023 года, которые были опубликованы в конце мая, после того как мы собрали наш набор данных. Grok сдал экзамен на четверку (59%), в то время как Claude-2 получил ту же оценку (55%), а GPT-4 получил четверку с 68%. Все модели оценивались при температуре 0,1 и с одинаковым запросом. Следует отметить, что мы не прилагали никаких усилий для настройки на эту оценку. Этот эксперимент служил "реальным” тестированием на наборе данных, для которого наша модель никогда явно не настраивалась.
Мы приводим краткое описание важных технических деталей Grok-1 в карточке модели.
Инженерия в xAI
На переднем крае исследований в области глубокого обучения надежная инфраструктура должна создаваться с такой же тщательностью, как наборы данных и алгоритмы обучения. Для создания Grok мы создали пользовательский стек обучения и вывода на основе Kubernetes, Rust и JAX.
Обучение LLM проходит подобно грузовому поезду, с грохотом мчащемуся вперед; если один вагон сходит с рельсов, весь поезд сходит с рельсов, что затрудняет восстановление вертикального положения. Существует множество причин выхода графических процессоров из строя: производственные дефекты, незакрепленные соединения, неправильная конфигурация, неисправные чипы памяти, случайный переворот битов и многое другое. При обучении мы синхронизируем вычисления на десятках тысяч графических процессоров в течение нескольких месяцев подряд, и все эти режимы сбоев становятся частыми из-за масштаба. Для решения этих проблем мы используем набор пользовательских распределенных систем, которые гарантируют, что каждый тип сбоя немедленно выявляется и автоматически обрабатывается. В xAI мы сделали максимизацию полезной мощности на ватт ключевым направлением наших усилий. За последние несколько месяцев наша инфраструктура позволила нам минимизировать время простоя и поддерживать высокую загрузку модельного ряда (MFU) даже при наличии ненадежного оборудования.
Rust зарекомендовал себя как идеальный выбор для создания масштабируемой, надежной и ремонтопригодной инфраструктуры. Он обеспечивает высокую производительность, богатую экосистему и предотвращает большинство ошибок, которые обычно встречаются в распределенной системе. Учитывая небольшой размер нашей команды, надежность инфраструктуры имеет решающее значение, в противном случае техническое обслуживание сводит на нет инновации. Rust дает нам уверенность в том, что любая модификация кода или рефакторинг, скорее всего, приведут к созданию рабочих программ, которые будут выполняться месяцами при минимальном контроле.
Сейчас мы готовимся к следующему скачку в возможностях моделей, который потребует надежной координации учебных запусков на десятках тысяч ускорителей, запуска конвейеров данных интернет-масштаба и внедрения новых видов возможностей и инструментов в Grok. Если это звучит для вас захватывающе, подайте заявку на вступление в команду здесь.
Исследования в xAI
Мы предоставляем Grok доступ к инструментам поиска и информации в режиме реального времени, но, как и во всех LLM, обученных прогнозированию следующего токена, наша модель по-прежнему может генерировать ложную или противоречивую информацию. Мы считаем, что достижение достоверного обоснования является наиболее важным направлением исследований для устранения ограничений существующих систем. Здесь мы хотели бы выделить несколько перспективных направлений исследований, которые нас больше всего волнуют в xAI:
- Масштабируемый надзор с помощью инструментов. Важна обратная связь с человеком. Однако обеспечение последовательной и точной обратной связи может быть сложной задачей, особенно при работе с длинным кодом или сложными этапами обоснования. Искусственный интеллект может помочь в масштабируемом надзоре, просматривая ссылки из разных источников, проверяя промежуточные этапы с помощью внешних инструментов и при необходимости запрашивая обратную связь от человека. Мы стремимся максимально эффективно использовать время наших преподавателей по искусственному интеллекту с помощью наших моделей.
- Интеграция с формальной проверкой для обеспечения безопасности, надежности и обоснования. Для создания систем искусственного интеллекта, способных глубоко рассуждать о реальном мире, мы планируем развивать навыки рассуждения в менее двусмысленных и более поддающихся проверке ситуациях. Это позволяет нам оценивать наши системы без обратной связи с человеком или взаимодействия с реальным миром. Одной из основных непосредственных целей этого подхода является предоставление официальных гарантий корректности кода, особенно в отношении формально проверяемых аспектов безопасности искусственного интеллекта.
- Понимание и извлечение информации из широкого контекста. Обучающие модели для эффективного получения полезных знаний в конкретном контексте лежат в основе создания по-настоящему интеллектуальных систем. Мы работаем над методами, которые могут обнаруживать и извлекать информацию всякий раз, когда это необходимо.
- Состязательная надежность. Состязательные примеры демонстрируют, что оптимизаторы могут легко использовать уязвимости в системах искусственного интеллекта как во время обучения, так и во время отбывания срока службы, что приводит к совершению ими вопиющих ошибок. Эти уязвимости являются давними недостатками моделей глубокого обучения. Мы особенно заинтересованы в повышении надежности LLM, моделей вознаграждения и систем мониторинга.
- Возможности мультимодального использования. В настоящее время Grok не обладает другими органами чувств, такими как зрение и звук. Чтобы лучше помогать пользователям, мы оснастим Grok этими различными органами чувств, которые позволят использовать более широкие приложения, включая взаимодействие и помощь в режиме реального времени.
Мы считаем, что искусственный интеллект обладает огромным потенциалом для создания значительной научной и экономической ценности для общества, поэтому мы будем работать над разработкой надежных мер защиты от катастрофических форм злонамеренного использования. Мы верим в то, что сделаем все возможное для того, чтобы искусственный интеллект оставался силой добра.
Если вы разделяете наш оптимизм и хотите внести свой вклад в нашу миссию, подайте заявку на вступление в команду здесь.
Ранний доступ к Grok
Мы предлагаем ограниченному числу пользователей в Соединенных Штатах опробовать наш прототип Grok и оставить ценные отзывы, которые помогут нам улучшить его возможности перед более широким выпуском. Вы можете присоединиться к списку ожидания Grok здесь. Этот релиз представляет собой лишь первый шаг для xAI. Заглядывая в будущее, скажу, что у нас есть захватывающая дорожная карта, и в ближайшие месяцы мы будем внедрять новые возможности.
Также можете вступить в телеграм канал Нейро Матрёшка по нейросети мы каждый день выкладываем полезную информацию: https://t.me/maya_pro
