AI Lab itinai.ru

Мультикамерное отслеживание для улучшенного управления трафиком в реальном времени с использованием трансформеров и графовых нейронных сетей “`html LaMMOn: Решение для многокамерного отслеживания с использованием трансформеров и графовых нейронных сетей для улучшенного управления трафиком в реальном времени Многокамерное отслеживание (MTMCT) является ключевым элементом интеллектуальных транспортных систем. Однако оно сталкивается с проблемами в реальных приложениях из-за ограниченности общедоступных данных и трудоемкого процесса ручной аннотации. Эффективное управление трафиком было улучшено благодаря прогрессу в компьютерном зрении, позволяющем точно прогнозировать и анализировать объемы трафика. MTMCT включает в себя отслеживание транспортных средств на нескольких камерах путем обнаружения объектов, выполнения отслеживания нескольких объектов в пределах одной камеры и, наконец, кластеризации траекторий для создания общей карты движения транспортных средств. Несмотря на свой потенциал, MTMCT сталкивается с проблемами, такими как необходимость новых правил сопоставления для каждого сценария камеры, ограниченные наборы данных и высокие затраты на ручную разметку. Решение LaMMOn Исследователи из Университета Теннесси в Чаттануге и Центра исследований L3S при Ганноверском университете разработали модель многокамерного отслеживания LaMMOn на основе трансформеров и графовых нейронных сетей. LaMMOn объединяет три модуля: модель обнаружения языка (LMD) для обнаружения объектов, модель ассоциации языка и графа (LGMA) для отслеживания и кластеризации траекторий, а также модуль текстового встраивания (T2E) для генерации встраиваний объектов из текста для решения ограничений данных. Эта модель показывает хорошие результаты на различных наборах данных, включая CityFlow и TrackCUIP, обладая конкурентоспособной производительностью в реальном времени. Дизайн LaMMOn устраняет необходимость в новых правилах сопоставления и ручной разметке, используя синтезированные встраивания из текста. Многократное отслеживание объектов (MOT) включает в себя ассоциацию объектов на видеокадрах с одной камеры для создания треклетов, с методами, такими как Tracktor, CenterTrack и TransCenter, улучшающими возможности отслеживания. MTMCT расширяет это, интегрируя движения объектов на нескольких камерах, часто рассматривая MTMCT как расширение кластеризации результатов MOT. Техники, такие как пространственно-временная фильтрация и ограничения правил дорожного движения, улучшили точность, хотя LaMMOn отличается тем, что объединяет задачи обнаружения и ассоциации в единый процесс. Модели трансформеров, такие как Trackformer и TransTrack, а также графовые нейронные сети, такие как GCN и GAT, были использованы для улучшения производительности отслеживания, включая обработку сложных структур данных и оптимизацию многокамерного отслеживания. Фреймворк LaMMOn состоит из трех ключевых модулей: модуль LMD, который обнаруживает объекты и генерирует встраивания; модуль LGMA, который обрабатывает многокамерное отслеживание и кластеризацию траекторий; и модуль T2E, который синтезирует встраивания объектов из текстовых описаний. LMD объединяет видеокадры с позиционными и идентификаторами камер, чтобы произвести встраивания объектов с использованием Deformable DETR. LGMA использует эти встраивания для выполнения глобальной ассоциации треклетов с помощью графовых токенов. Модуль T2E, основанный на Sentencepiece, генерирует синтетические встраивания из текста, решая... https://itinai.ru/%d0%bc%d1%83%d0%bb%d1%8c%d1%82%d0%b8%d0%ba%d0%b0%d0%bc%d0%b5%d1%80%d0%bd%d0%be%d0%b5-%d0%be%d1%82%d1%81%d0%bb%d0%b5%d0%b6%d0%b8%d0%b2%d0%b0%d0%bd%d0%b8%d0%b5-%d0%b4%d0%bb%d1%8f-%d1%83%d0%bb%d1%83

Новая открытая модель искусственного интеллекта от Meta: Llama 3.1. “`html Meta объявила о выпуске Llama 3.1: новая модель в серии Llama, доступная в вариантах 8B, 70B и 405B Meta представила Llama 3.1, новейшую модель в серии Llama, особенно модель 405B, которая представляет собой значительное развитие возможностей открытого искусственного интеллекта, выдвигая Meta на передовые позиции в инновациях в области ИИ. Основные возможности Llama 3.1: Модель Llama 3.1 405B отличается исключительной гибкостью, управляемостью и производительностью, конкурируя с самыми продвинутыми моделями закрытого исходного кода. Она разработана для поддержки различных приложений, включая генерацию синтетических данных и модельный дистиляция, стимулируя общество к изучению новых рабочих процессов и инноваций. С поддержкой восьми языков и увеличенной длиной контекста в 128 тыс. символов, Llama 3.1 является универсальной и надежной моделью, соответствующей разнообразным случаям использования, таким как суммаризация текста большого объема и многоязычные разговорные агенты. Построение экосистемы: Релиз Llama 3.1 от Meta подкреплен комплексной экосистемой партнеров, включая такие компании, как AWS, NVIDIA, Databricks, Dell и Google Cloud, предлагающие услуги для поддержки модели с первого дня. Такой совместный подход обеспечивает пользователям и разработчикам инструменты и платформы для раскрытия полного потенциала Llama 3.1, способствуя процветанию инноваций в области ИИ. Новые инструменты для безопасности: Модель Llama 3.1 внедряет новые инструменты безопасности, такие как Llama Guard 3 и Prompt Guard, предназначенные для помощи разработчикам построить ответственные приложения ИИ, обеспечивая их безопасность. Посвященность Meta ответственному развитию ИИ отражается также в запросе отзывов по Llama Stack API, направленного на стандартизацию и облегчение интеграции сторонних приложений с моделями Llama. Обучение модели Llama 3.1 405B было монументальным, включая использование более 16 тыс. H100 GPU и обработку более 15 трлн. токенов. Для обеспечения эффективности и масштабируемости мы оптимизировали стек обучения с применением стандартной архитектуры модели с декодером-трансформером и итеративными процедурами послетренировочной обработки. Эти процессы повысили качество генерации синтетических данных и производительность модели, устанавливая новые стандарты для открытого искусственного интеллекта. Для улучшения возможностей модели по помощи и следованию инструкциям Meta использовала многораундовый процесс выравнивания, включающий надзорное дообучение (SFT), отборочное сэмплирование (RS) и оптимизацию непосредственных предпочтений (DPO). В сочетании с высококачественной генерацией синтетических данных и фильтрацией, эти техники позволили Meta создать модель, котоая блестяще справляется как с короткими контекстами, так и с длинными контекстами в 128 тыс. символов. Meta видит в Llama 3.1 часть более широкой системы ИИ, включающей различные компоненты и инструменты для разработчиков. Такой подход к экосистеме позволяет создавать пользовательские агенты и новые агентические поведения, поддерживаемые полной референтной системой с образцами приложений и новыми моделями безопасности. Постоянная разработка Llama Stack направлена на стандартизацию интерфейсов для построения компонентов цепочки инструментов ИИ, способствуя их взаимодействию и удобству использования. В заключение, посвященность Meta открытому искусственному интеллекту обусловлена убеждением... https://itinai.ru/%d0%bd%d0%be%d0%b2%d0%b0%d1%8f-%d0%be%d1%82%d0%ba%d1%80%d1%8b%d1%82%d0%b0%d1%8f-%d0%bc%d0%be%d0%b4%d0%b5%d0%bb%d1%8c-%d0%b8%d1%81%d0%ba%d1%83%d1%81%d1%81%d1%82%d0%b2%d0%b5%d0%bd%d0%bd%d0%be%d0%b3

Метод обучения для улучшения рассуждений ИИ с использованием постепенного усиления контроля “`html Прогрессивная система обучения для улучшения рассуждений искусственного интеллекта через слабое крепкое руководство Поскольку большие языковые модели превосходят возможности человека, обеспечение точного руководства становится все более сложным. Метод слабого-к-сильному обучению, который использует менее способную модель для улучшения более сильной, предлагает потенциальные преимущества, но требует тестирования для сложных задач рассуждения. Этот метод в настоящее время не обладает эффективными техниками для предотвращения имитации более сильной моделью ошибок менее сильной модели. По мере продвижения искусственного интеллекта к искусственному общему интеллекту (ИОИ), создание сверхинтеллектуальных систем вносит значительные вызовы, особенно в области надзора и парадигм обучения. Традиционные методы, опирающиеся на человеческий надзор или продвинутое руководство модели, становятся недостаточными по мере того, как возможности искусственного интеллекта превышают возможности их наблюдателей. Практические решения и ценность: Исследователи из Университета Шанхайского Цзяотун, Университета Фудан, Шанхайской лаборатории искусственного интеллекта и GAIR разработали прогрессивную систему обучения, позволяющую сильным моделям автономно улучшать свои обучающие данные. Этот подход начинается с контролируемой тонкой настройки на небольшом качественном наборе данных, за которой следует оптимизация предпочтений с использованием контрастных образцов, выявленных сильной моделью. Эксперименты на наборах данных GSM8K и MATH показывают значительные улучшения в способностях рассуждения Llama2-70b при использовании трех различных слабых моделей. Эффективность системы демонстрируется далее с помощью Llama3-8b-instruct, наблюдающей за Llama3-70b на сложном наборе данных OlympicArena, открывая путь к улучшенным стратегиям рассуждения искусственного интеллекта. Автоматизированное улучшение задач и соответствие инструкциям человека: Большие языковые модели улучшают решение задач и соответствие инструкциям человека через контролируемую тонкую настройку (SFT), которая опирается на качественные обучающие данные для значительного улучшения производительности. Это исследование рассматривает потенциал обучения от слабого наблюдения. Соответствие больших языковых моделей человеческим ценностям также требует RLHF и непосредственной оптимизации предпочтений (DPO). DPO упрощает перепараметризацию функций вознаграждения в RLHF и имеет различные стабильные и производительные варианты, такие как ORPO и SimPO. В математическом рассуждении исследователи сосредотачиваются на методах подсказок и генерации высококачественных вопросно-ответных пар для тонкой настройки, что значительно улучшает способности решения проблем. Цель слабого-к-сильному методу обучения: Метод слабого-к-сильному обучению нацелен на максимизацию использования слабых данных и улучшение способностей сильной модели. На этапе I потенциально положительные образцы выявляются без истинных данных и используются для контролируемой тонкой настройки. Этап II включает использование полных слабых данных, сосредотачиваясь на потенциально негативных образцах через методы предпочтительного обучения, такие как DPO. Этот метод улучшает сильную модель, учась на ошибках слабой модели. Ответы сильной модели выбираются случайным образом, и уровни уверенности используются для определения надежных ответов. Создаются... https://itinai.ru/%d0%bc%d0%b5%d1%82%d0%be%d0%b4-%d0%be%d0%b1%d1%83%d1%87%d0%b5%d0%bd%d0%b8%d1%8f-%d0%b4%d0%bb%d1%8f-%d1%83%d0%bb%d1%83%d1%87%d1%88%d0%b5%d0%bd%d0%b8%d1%8f-%d1%80%d0%b0%d1%81%d1%81%d1%83%d0%b6%d0%b4