🌟 OpenVLA: модели Vision-Language-Action с открытым исходным кодом. OpenVLA - это набор моделей с семью миллиардами параметров, предназначенных для универсального управления роботами. Система OpenVLA включает в себя комбинацию визуальных энкодеров SigLIP, DinoV2 и языковой модели Llama 2, которая служит основой. Обучение проводилось на наборе данных Open-X, содержащем 970 тысяч траекторий манипуляций в различных средах. Модели получают на вход языковую инструкцию и изображение рабочей области с камеры робота. После этого OpenVLA предсказывает нормализованные действия робота, состоящие из 7-DoF дельт конечных эффекторов в виде координатных положений (x, y, z, roll, pitch, yaw, gripper). Для выполнения действий на реальной роботизированной платформе необходимо де-нормализовать их с учетом статистики, рассчитываемой для каждого робота и каждого набора данных. OpenVLA готовы к использованию для управления роботами в различных действиях и условиях, если они схожи с действиями и задачами, представленными в Open-X (например, для среды BridgeV2 с роботом Widow-X). Модели не могут самообучаться на условиях, не представленных в процессе предварительного обучения; для решения таких ситуаций разработчики подготовили подробные инструкции (https://github.com/openvla/openvla?tab=readme-ov-file#fine-tuning-openvla-via-lora) по самостоятельному дообучению на вашем наборе демонстраций. Семейство OpenVLA состоит из пяти модификаций базовой модели OpenVLA-7B: 🟢 openvla-7b-prismatic (https://huggingface.co/openvla/openvla-7b-prismatic) - адаптация для использования с проектом Prismatic VLMs (https://github.com/TRI-ML/prismatic-vlms); 🟢 openvla-7b-finetuned-libero-spatial (https://huggingface.co/openvla/openvla-7b-finetuned-libero-spatial) - файнтюн с помощью LoRA на датасете LIBERO-Spatial бенчмарка LIBERO (https://libero-project.github.io/main.html); 🟢 openvla-7b-finetuned-libero-object (https://huggingface.co/openvla/openvla-7b-finetuned-libero-object) - файнтюн с помощью LoRA на датасете LIBERO-Object; 🟢 openvla-7b-finetuned-libero-10 (https://huggingface.co/openvla/openvla-7b-finetuned-libero-10) - файнтюн с помощью LoRA на датасете LIBERO-10 (Long). ▶️ Установка: # Создайте виртуальное окружение conda create -n openvla python=3.10 -y conda activate openvla # Установите PyTorch conda install pytorch torchvision torchaudio pytorch-cuda=12.4 -c pytorch -c nvidia -y # Клонируйте и установите репозиторий openvla git clone https://github.com/openvla/openvla.git cd openvla pip install -e . # только для обучения # Установите Flash Attention 2 pip install packaging ninja ninja --version; echo $? # --> должна вернуть код "0" pip install "flash-attn==2.5.5" --no-build-isolation 📌 Лицензирование: MIT License. 🟡 Страница проекта (https://openvla.github.io/) 🟡 Arxiv (https://arxiv.org/pdf/2406.09246) 🟡 Набор моделей (https://huggingface.co/openvla) 🖥 Github (https://github.com/openvla/openvla) #AI #ML #OpenVLA #Robotics #AI|#GPT|#Нейросеть|#ИИ ----------------------------- На основании материалов @machinelearning