Офис компании Positive Technologies станет одним из 18 офлайн-хабов для международного соревнования BitGN Agent Challenge: Personal & Trustworthy, посвященного автономным ИИ-агентам. Участники разворачивают своих ИИ-агентов на специальной платформе, оценивающей их способность решать задачи в контролируемых условиях. В чемпионате участвуют свыше 600 инженеров из 86 городов мира. Финал пройдет в Вене, а остальные 17 хабов расположены в различных уголках мира.
Основной проблемой большинства бенчмарков для LLM и агентов является их воспроизводимость. Агент, показавший высокий результат в одном испытании, может провалиться в другом из-за нестабильной среды исполнения и субъективной оценки. BitGN решает эту проблему с помощью детерминированного контракта: агент подключается к платформе через API и работает в строго контролируемой среде с заданными инструментами, файлами и условиями задачи.
Этот подход позволяет оценивать агентные системы на основе воспроизводимых результатов, что важно для их применения в бизнесе, разработке и информационной безопасности.
Соревнование проводится в два этапа: тренировочный стенд открыт в постоянном режиме с 25 февраля, а финал состоится 11 апреля в гибридном формате. Участие бесплатное. Чемпионат проводится с 2024 года, в прошлом году в нем участвовали более 500 команд, выполнивших свыше 360 000 оценок агентов.
Источник: пресс-служба компании Positive Technologies