Разбираемся, как работают VLM в тестировании, почему они превосходят традиционные методы автоматизации, и как платформа BugBuster использует эту технологию, чтобы сделать тестирование интуитивным, стабильным и не требующим программирования.
Vision-language модели (VLM) - это мультимодальные нейросети, способные объединить картинку и текст в единое пространство признаков. Они принимают на вход не только скриншот интерфейса, но и инструкцию на естественном языке, например: Нажми на кнопку редактирования слева от кнопки Run в модальном окне. Модель понимает контекст и определяет, какой именно элемент соответствует этой инструкции, даже если он не имеет уникальных атрибутов или находится внутри Canvas-объекта.
На основе этой технологии работает платформа BugBuster. Она не генерирует программный код на основе описания шагов, а исполняет их напрямую.
Например, можно создать тест-кейс для поиска товара по запросу, в котором описать следующие действия:
- Подождать, пока загрузится карточка первого товара
- Ввести “Черные наушники” в поле поиска
- Нажать клавишу “Enter”
- Первыми в списке товаров отображаются наушники черного цвета
- Кликнуть на картинку карточки первого товара с черными наушниками
Поиск элемента
Модель сопоставляет текстовую инструкцию с визуальным представлением интерфейса и выполняет действие без промежуточного программного слоя.
Если указано: «Наведи мышь на значок с короной на северо-западе от метро Боровицкая», система определяет нужный элемент и выполняет наведение. Чтобы проверить, что при этом появляется нужный поп-ап, в тест-кейсе должна быть явная инструкция на такую проверку - платформа выполняет ровно то, что описано.
Кроме того, платформа позволяет запускать тест-раны - наборы тестов, которые можно группировать, задавать среду выполнения (браузер, ОС, разрешение экрана), а также запускать параллельно.
В рамках одного тест-рана можно одновременно запускать тест-кейсы в автоматическом режиме и проходить ручные сценарии. Пока платформа автоматически исполняет типовые кейсы, вы параллельно можете вручную выполнять более сложные шаги, которые требуют человеческого вмешательства или ещё не автоматизируемы. И если вы не согласны с результатами автоматического прохождения, вы тут же сможете перепройти тест-кейс в ручном режиме.
Контекстные проверки
Вместо такого огромного фрагмента кода теперь можно просто написать Открылась страница с товарами. Больше не нужно проверять каждый элемент вручную и писать громоздкий код.
Независимость от локаторов
Вместо сложных локаторов теперь можно написать Кликнуть на пункт “Акции” со значком процента.
Рефлексия
Платформа не просто сообщает, прошёл тест или нет - она объясняет причину.
Например, если тест провалился, система указывает, на каком шаге возникла проблема и почему. Это особенно полезно при регрессионном тестировании, когда важно понимать, какие изменения повлияли на работу приложения.
Vision-language модели делают автоматизацию доступной для ручных тестировщиков, бизнес-аналитиков и других специалистов без технического бэкграунда. Они позволяют ускорить цикл разработки и снижают порог входа в QA-автоматизацию. Если вы хотите испытать возможности VLM, подписывайтесь на Telegram-канал, где команда BugBuster проводит бета-тестирование.