Сравниваем тест-фреймворки BDD для Python

Статья подготовлена для студентов курса «Python QA Engineer» в образовательном проекте OTUS.

BDD-фреймворки автоматизации существуют в любом языке программирования, и Python — не исключение. В этой статье мы сравним основные из них.

behave

Пожалуй, behave является одним из наиболее популярных BDD-фреймворков для Python. Официально он не является частью проекта Cucumber, однако работает похоже.

Материалы:

— техническая документация;

— проект на GitHub.

Плюсы:

— полная поддержка Gherkin;

— возможность интеграции с Flask и Django;

— прекрасное решение для практик BDD;

— хорошая документация;

— функции и фикстуры окружений;

— поддержка PyCharm Professional Edition.

Из минусов хотелось бы отметить отсутствие поддержки параллельного запуска (для этого требуется побочный фреймворк behave-parallel).

pytest-bdd

Не что иное, как плагин для pytest, позволяющий писать тесты не как тест-функции, а как фича-файлы Gherkin. За счёт интеграции с pytest фреймворк способен работать с любыми pytest-плагинами, к примеру, pytest-html для создания красивых отчётов или pytest-xdist для параллельного тестирования. Кроме того, фреймворк использует для внедрения зависимостей фикстуры pytest .

Материалы:

— документация;

— проект на GitHub.

Преимущества:

— полная совместимость с pytest и его основными плагинами;

— широкое сообщество pytest;

— фикстуры;

— вы можете фильтровать и запускать тесты вместе с другими тестами pytest;

— вы можете легко распределять через conftest.py определения шагов и перехватчики;

— есть возможность лучше управляться с табличными данными, если речь идёт о DDT-тестировании;

— поддержка PyCharm Professional Edition.

Недостатки:

— шаги шаблона сценария необходимо парсить другим образом;

— модули определения шагов должны иметь декларации, явно заданные для фича-файлов (посредством функций @scenario или scenarios).

radish

Этот BDD-фреймворк имеет изюминку, которая заключается в добавлении в язык Gherkin нового синтаксиса. А такие особенности, как предусловия сценариев, константы и петли сценариев делают radish-вариант Gherkin более удобным для test cases.

Материалы:

— документация;

— проект на GitHub.

Плюсы:

— расширения языка позволяют лучше писать тесты;

— хорошая документация;

— определения шагов и фича-файлы получаются очень чистыми.

Минусы:

— количество расширений ограничено.

— дополнения к синтаксису Gherkin могут понравиться не всем.

lettuce

Очередной «овощной» Python BDD-фреймворк, известный уже много лет. Правда, код и сайт давненько не обновлялись.

Материалы:

— проект на GitHub.

Достоинства:

— надёжность, проверенная временем;

— код проще.

Недостатки:

— проигрывает другим фреймворкам в плане обилия фич;

— по всей видимости, поддержка не очень активна.

freshen

Когда-то freshen был плагином для nose и одним из BDD-фреймворков для Python. Однако сегодня ни nose, ни freshen, более не поддерживаются, а в их документации сказано, что лучше использовать другие фреймворки.

Что же выбрать?

Ни один из перечисленных фреймворков идеальным не является, хотя у некоторых из них есть явные преимущества. Один из оптимальных вариантов — pytest-bdd, ведь он позволит вам извлечь пользу из сильных сторон pytest. А ещё он хорош за счёт выразительности, ассертов, фикстур, плагинов. К тому же, в опросе Python-разработчиков за 2018 год сказано, что pytest лидирует с большим отрывом.

Что касается общих рекомендаций, то они следующие:

— Хотите надёжной и стабильной работы и доступ к самому большому сообществу? Используйте behave.

— Интересует интеграция с другими плагинами, если уже есть pytest-тесты, либо желаете запускать тесты параллельно? Ваш выбор — pytest-bdd.

— Интересует программный контроль тестирования на уровне Gherkin? Вам подойдёт radish.

Что касается lettuce и freshen, то их лучше просто не использовать.

Источник

Изучайте программу курса «Python QA Engineer», проходите вступительное тестирование и присоединяйтесь к новой группе по специальной новогодней цене!