Чел из сообщества LocalLLaMA показал проект по распознаванию баскетболистов на видео. Система детектирует игроков, судей, мяч и даже типы бросков, отслеживает перемещения и отличает команды по цветам формы. Всё это работает на комбинации ИИ- моделей, чтобы справляться с перекрытиями и быстрым движением на площадке.
Модели включают RFDETR для обнаружения объектов в реальном времени, SAM2 для сегментации и слежки за игроками, SigLIP с UMAP и Kmeans для группировки по визуальным признакам без разметки, SmolVLM2 после дообучения на номерах майек и достигла 86 процентов точности. Дообучение было на NVIDIA L4, скорость обработки около 2 кадров в секунду при 10 объектах...
В итоге, такой подход упрощает анализ баскетбольных матчей и может пригодиться для других видов спорта.
Прикладное применение открытых ИИ. Очень круто!