Экшн-трансформеры — следующий шаг для ИИ
Мало что может так сильно изменить нашу повседневную жизнь. Или в нашей работе.
И хотя у вас может возникнуть искушение увидеть в заголовке чистую сенсацию, могу заверить вас, что к концу статьи вы будете думать иначе.
Что, если я скажу вам, что у ИИ есть еще больший вариант использования, чем ChatGPT, вариант использования, который может полностью изменить то, как мы взаимодействуем с нашими телефонами, планшетами или компьютерами, чтобы использовать их способами, которые считались невозможными?
Эта технология существует, и она подкрадывается к вам.
Но позвольте мне сделать оговорку; степень того, насколько вы будете взволнованы или напуганы после прочтения этой статьи, будет полностью зависеть от вас, а не от меня.
Вот насколько разрушительными и преобразующими могут быть Action Transformers для вашего будущего.
Когда внимание стало мейнстримом
Генеративный ИИ представляет собой первый случай, когда многолетнее обещание ИИ стало реальностью, которую может оценить даже менее технологичная часть общества.
Основной ИИ уже здесь
Несмотря на то, что ИИ уже везде, до сих пор модели ИИ использовались в качестве предикторов; лица, принимающие решения, для очень индивидуальных и конкретных вариантов использования.
Как ни странно, самой успешной — с экономической точки зрения — областью ИИ была онлайн-реклама, позволяющая таким компаниям, как Google или Meta, строить буквальные империи на основе простой концепции определенности.
То есть предоставление людям эмпирической, основанной на данных уверенности в том, что результат определенного действия чаще всего будет прибыльным.
Благодаря искусственному интеллекту Google и Meta гарантировали рекламодателям результаты, гарантируя, что их маркетинговые кампании будут охватывать желаемых клиентов, превратив маркетинговую индустрию из исторического «удаления» в нечто гораздо более упорядоченное.
Но этот поразительный успех потребовал значительных инвестиций, что сделало ИИ запрещенной технологией для большинства.
Таким образом, все это меняется с Генеративным ИИ, когда ИИ впервые становится массовым и доступным в нашей повседневной жизни.
И хотя вы, несомненно, увидите множество различных моделей ИИ, бросаемых вам в лицо, все они могут быть сведены к одной простой концепции: в мире, где сосредоточенность становится все более сложной задачей каждый день, по иронии судьбы то, что собирается изменить мир вокруг нас, основан на одной простой вещи, внимание.
Внимание - это все, что вам нужно
Механизм внимания — это предложение Бахденау и др. , которое, без сомнения, является одной из самых влиятельных статей в истории искусственного интеллекта.
Короче говоря, это был первый случай, когда люди нашли способ научить машины понимать контекст фразы «подобно тому, как это сделали бы люди».
Мы можем увидеть это на примере:
Допустим, вы хотите перевести фразу на другой язык.Если вы не очень странный, вы, вероятно, будете переводить фразу небольшими кусками; сначала первые несколько слов, затем следующие, сохраняя в памяти первую часть предложения для сохранения контекста… и так далее.Однако до механизма внимания нейронные сети понимали контекст методом грубой силы, извлекая контекст из всей фразы. Это означало, что по мере увеличения длины фразы, которую мы хотели, чтобы машина понимала, требования к вычислительным ресурсам и памяти резко возрастали.
С появлением механизма внимания все изменилось.
Благодаря механизму взвешивания мы смогли научить машины «оценивать» по одному слову за раз остальные слова предложения по отношению к этому слову.
Это означало, если говорить очень упрощенно, что для каждого слова в предложении, полученном машиной, она была способна понять, какие другие слова в этом предложении значат больше, а какие меньше, как это делаем мы с вами бессознательно.
Это позволило родить трансформер, модель ChatGPT, DALL-E, Stable Diffusion или нашего главного героя сегодня, ACT-1.
Трансформеры здесь, чтобы остаться
Механизм внимания привел к тому, что в 2017 году группа исследователей решила отказаться от повторения и свертки, стандартов в то время для обучения моделей последовательностей, и создала новый кодировщик-декодер — две нейронные сети, соединенные в последовательность, — который полагался исключительно на внимание. механизм.
Однако до сих пор основными приложениями этих моделей были генерация текста или изображений. Как видно из ChatGPT, это было очень успешно и уже повлияло на несколько отраслей, таких как творческие работники, писатели или маркетологи.
Но есть более масштабный вариант использования, о котором мало кто знает, и который полностью изменит то, как вы используете свои цифровые устройства.
Экшен-трансформеры, или общий разум
Adept.ai — не обычный стартап.
Он основан некоторыми из самых ярких умов в области ИИ (некоторые из них создали концепцию модели Transformer, о которой говорилось ранее, и ее соучредителем является Дэвид Луан, когда-то возглавлявший инженерный отдел OpenAI).
Теперь они решили вывести свои таланты на новый уровень, создав первый в истории преобразователь действий, большую языковую модель, которую команда назвала первой в целом интеллектуальной моделью ИИ, определяющей «общий интеллект» как способность модель для интеллектуального выполнения различных задач на компьютере.
В этот момент вы, возможно, задаетесь вопросом… «Отлично, но что делает эта «штука»?»
Короче говоря, это интеллектуальная автоматизация общего назначения.
Изменение того, как мы взаимодействуем с компьютерами, навсегда
Представьте, что вы работаете с электронной таблицей Excel с информацией о финансах вашей компании. Внезапно вы понимаете, что хотели бы создать сводную таблицу, которая обеспечивает более глубокое понимание информации в вашей таблице.
Но прошло много времени с тех пор, как вы делали это, и одна только мысль о том, что вам придется учиться снова, ухудшает ваше настроение.
Затем вы открываете расширение Chrome и вводите «Создать сводную таблицу, которая представляет мою финансовую информацию таким образом, чтобы я мог четко определить прибыль и маржу за каждый год, отфильтровывая только положительные результаты».
Вы нажимаете «ввод». И вуаля , волшебство происходит.
Внезапно введенный вами запрос автоматически выполняется в электронной таблице Excel, а вы просто наблюдаете.
Это, похожее на научную фантастику, через несколько лет может стать «обычным делом» в нашей жизни.
Или месяцы, благодаря ACT-1 от Adept.
Путь к универсальной автоматизации
В наши дни цифровая автоматизация — это довольно рудиментарный процесс. Мощный, не поймите меня неправильно, но рудиментарный.
Люди должны «научить» программное обеспечение автоматизации выполнять серию повторяющихся действий, буквально показывая ему, в каком месте на экране компьютера ему нужно воздействовать, и робот просто подчиняется.
Но в этой процедуре нет разума. Эти роботы могут воспроизводить только определенные процессы и автоматически давать сбой, если они изменяются.
С экшн-трансформерами это осталось в прошлом.
Используя мощную концепцию больших языковых моделей, эти преобразователи способны беспрепятственно взаимодействовать практически с любым графическим пользовательским интерфейсом, API или веб-сайтом практически без обучения.
Но это не самое невероятное; они могут стать товарищами по команде для любого человека, поскольку они способны выполнять эти действия по запросу с запросами на естественном языке, как в примере, который я показал ранее.
И что еще более впечатляет, так это то, что Adept.ai разрабатывает свою модель трансформера, используя новую инновационную итерацию механизма внимания, концепцию, описываемую как само-внимание.
Длиннее и быстрее
Как упоминалось ранее, самыми большими узкими местами в этих моделях являются ограничения времени выполнения и памяти.
Несмотря на то, что механизм внимания позволял гораздо более «человеческий» способ извлечения контекста из фраз при снижении требований к памяти, его все же можно улучшить.
При нормальном механизме внимания время выполнения и память имеют квадратичные требования к длине входной последовательности. Другими словами, чем длиннее входная последовательность, тем экспоненциально выше требования к памяти и времени выполнения.
Сегодня современные модели способны обрабатывать около 2000 токенов, что составляет менее 2000 слов на вход (недавно OpenAI выпустила систему встраивания 8192 токенов).
Это ограничивает количество входных данных, которые вы можете предоставить модели, чтобы она понимала контекст и генерировала выходные данные. Логически этого недостаточно, так как любой, кто читал книгу, знает, что контекст может быть получен из текстов, которые намного, намного больше.
Модель ACT-1 от Adept.ai использует внутреннее внимание, новый механизм, который, как они утверждают, снижает требования к памяти и времени выполнения до линейных относительно длины входной последовательности.
Память и время выполнения увеличиваются линейно, а не экспоненциально, в зависимости от длины последовательности.
Возможные последствия этого?
В конце концов, мы могли бы увидеть увеличение числа товарищей по команде ИИ, которые сопровождают вас в течение месяцев, учатся на ваших способах работы и ритмах и могут стать вашим неразлучным компаньоном по работе, который улучшает ваши действия в индивидуальном, специальном подходе.
Хорошо, но хорошо это или плохо?
Трудно не чувствовать себя ошеломленным или даже напуганным такими новостями.
Но я не думаю, что это на самом деле плохо.
Человеческие рабочие никуда не денутся. На самом деле, эти роботы могут стать действительно изменяющими нашу жизнь элементами и, потенциально, могут полностью изменить то, как мы взаимодействуем с компьютерами в будущем, к лучшему.
Настоящий вопрос заключается в том, понадобятся ли нам программные интерфейсы в будущем? Или программные продукты просто станут бэкендами, с которыми взаимодействуют преобразователи действий?