TechTurbine ИИ, технологии и игры: будущее, которое мы создаём сегодня

Meta* представила новую модель под названием MusicGen, которая переводит текст в музыку. MusicGen превосходит все существующие модели, включая MusicLM от Google, и делает это одним блоком трансформера, в отличие от иерархического или "упсемплинга" каскадирования моделей. Модель была подвергнута глубокому тестированию и оказалась значительно лучше базовых моделей на стандартном бенчмарке текст-в-музыку. Из впечатляющих особенностей - модель может делать "каверы" на загруженные мелодии в любом стиле, который опишет пользователь. Образцы созданных MusicGen композиций доступны по ссылке, а подробности модели и код можно найти на Github и в научной статье на Arxiv. *Примечание: Деятельность компании Meta, включая социальные сети Facebook и Instagram, запрещена в России как экстремистская.

OpenAI рассказали о своих ближайших планах по развитию своего API. В 2023 году они хотят: Сделать GPT-4 еще быстрее и дешевле — Это самое важное для них. Они стремятся к тому, чтобы «интеллект стал доступнее» и поэтому они будут работать над уменьшением цены своих API. Увеличить объем контекста — Они считают, что скоро смогут обработать до 1 миллиона токенов (примерно 750 тысяч слов) за один раз. Улучшить API для дообучения — Они добавят возможность дообучать новые модели, но будут учитывать пожелания разработчиков. Создать API с сохранением состояния — Сейчас приходится каждый раз передавать историю разговора и платить за нее. В будущем они сделают API, который будет помнить историю разговора. В 2024 году они хотят: Добавить мультимодальность — OpenAI уже показывали это в GPT-4, но не могут дать это всем пользователям, пока у них не будет достаточного количества мощности в серверах. Мультимодальность — это способность коммуницировать с помощью разных видов информации, например, текста, звука, изображения и т.д.

Компания Meta AI* представила новую архитектуру искусственного интеллекта под названием Megabyte, которая поможет компьютерам лучше понимать и обрабатывать большие объемы текста. В общем смысле, токен в области искусственного интеллекта и машинного обучения - это просто частица информации, которую компьютерная программа может понять. Например, если мы говорим о тексте, токен может быть словом, фразой или даже одним символом. Так, предложение "Я люблю кошек" состоит из трех токенов: "Я", "люблю" и "кошек". Если усреднить, то обычно считается что 100 токенов это примерно 75 слов. В новой архитектуре Meta AI*, вместо обработки каждого токена (слова или фразы) по отдельности, они собирают несколько токенов в один "пакет" (называемый "патч"), и обрабатывают все токены в этом "пакете" сразу. Это как если бы вы вместо того, чтобы разбирать по одному предложению, сразу анализировали целый абзац. Это делает обработку информации более быстрой и эффективной. Это немного похоже на то, как мы, люди, читаем текст: мы не смотрим на каждое слово по отдельности, а сканируем целые предложения или абзацы. Вот так просто - Meta AI* представила новый способ, который может помочь компьютерам лучше понимать большие объемы информации. Это может быть важным шагом в развитии искусственного интеллекта. * Деятельность Meta (соцсети Facebook, Instagram) запрещена в России как экстремистская.