Одним из самых важных шагов при внедрении автоматизации является тестовая эксплуатация системы. Этот шаг идёт уже после того, как нам удалось развернуть систему, а значит уже проанализированы все процессы, выбрана система для автоматизации, на базе которой всё и строится, написаны инструкции пользователя и выполнены все прочие "служебные" шаги.
Тестовая эксплуатация нужна как исполнителю проекта, так и заказчику и является одним из самых важных шагов на пути к автоматизации бизнеса. Всё дело в том, что именно на этой стадии всплывают различные проблемы и сложности.
Нужна плотная работа в тандеме исполнителя и заказчика. Один должен активно искать баги, а другой анализировать протекающие процессы и сложности технического характера, которые не позволяют функционировать системе в том виде, как это предполагалось заказчиком. Без обоюдного взаимодействия заказчика с исполнителем задача будет провалена. Ведь невозможно, например, услышать мнение об удобстве новых кроссовок, пока их кто-то не поносит, и не получится исправить технические недочеты в этой обуви если не будет помогать технический специалист. Настроиться на такую взаимовыгодную работу следует с самого начала. Соответственно, как исполнителю, так и заказчику нужно обязательно согласовать все эти моменты и совместно прийти к необходимости выполнить этот важный и ответственный шаг.
Проблемы стоит ожидать самые разные. Ведь даже крупные проекты всегда проходят тестовую эксплуатацию и даже на таком уровне выявляется множество недоработок.
Где-то может проявить себя техническая ошибка, которую могли не заметить разработчики или допустить нечто подобное из-за человеческого фактора (замылился глаз, устал, отвлекся и т.д. и т.п.) Где-то могут проявить себя ошибки в планировании. Ведь и бизнес-процессы не так просто спланировать с первого раза! Даже опытные аналитики бывает спотыкаются и прогнозируют логику построения неправильно. Потом получается, что сотрудник склада должен отгрузить товар другому сотруднику раньше, чем товар поступит на склад. Случаются самые забавные и невероятные недочеты. В реальных условиях процессы "закольцовываются", а результат не виден. Именно поэтому следует всё это обкатать или, как это принято говорить, организовать тестовую эксплуатацию системы.
Из каких этапов должно состоять тестирование системы автоматизации
Для нас не столь важно, как именно тестировать систему. Самое важное - провести её качественную обкатку и выявить сложные моменты на ранних стадиях становления системы. Ведь когда "автоматика" уже сдана заказчику, все доработки будут платными.
Мы рекомендуем условно разделить процесс тестирования системы на этапы и "прогнать" по этой схеме все ваши наработки. Это необязательная схема. Хотя, в идеальном случае, тестовая эксплуатация должна выполняться строго в соответствии с ГОСТом. Но никто не мешает сделать это как душе угодно.
На практике используются самые разные способы тестирования, которые проводятся по разным алгоритмам. Просто полезно пользоваться отработанным нами алгоритмом и ориентироваться на важные показатели, про которые можно забыть в другом случае.
Обратите внимания, что самым сложным этапом тестовой эксплуатации является начало использования программного продукта непосредственно в IT-инфраструктуре Заказчика, на рабочих местах пользователей и именно этими самыми пользователями.
На данном этапе требуется максимальное внимание при общении с заказчиком и формирование реестра замечаний.
Очень часто случается так, что за ошибку в программном обеспечении конечные пользователи выдают результаты своих некорректных действий или неверных настроек.
Назначить ответственных за опытную эксплуатацию
Мы уже писали что "общее" следует понимать как ничье. Такая же картина и с организацией процесса тестирования системы. Когда кто-то должен провести тестирование, работать не будет ничего.
Следует сразу организовать работу таким образом, чтобы со стороны заказчика и исполнителя были назначены ответственные сотрудники. Они должны быть знакомы друг с другом и в непрерывном режиме и анализировать всяческие отклонения. Отклонения - это любая техническая ошибка или ошибка в логике.
Тестировать систему регулярно, а не только на каких-либо определенных этапах
Как только система приобретает некоторые очертания, следует сразу же запускать её в тестовую эксплуатацию. Даже если отработана только одна функция, то именно эту одну функцию и следует изучать досконально.
Скажем, мы разрабатываем и пытаемся внедрить систему ERP, в рамках реализации которой пока работает только подсчёт расходников. Мы заносим расходники в систему сразу же, как физически возможно такое сделать. Так уже на самом начале творческого пути будут видны потенциальные проблемы и узкие места.
Сформировать реестр замечаний
Реестр замечаний - это документ, составленный в произвольной форме, который отражает все замеченные проблемы. Форму и способ формирования такого документа рационально согласовывать с заказчиком или использовать предложенную им форму. Если же вы внедряете систему самостоятельно, то всё равно удобно использовать подобный реестр, так как это упростит дальнейший поиск ошибок и обнаружение подводных камней.
В реестре замечаний мы отмечаем любые нестандартные моменты, ошибки, замечания по ходу работы. Помимо простого указания замечания также следует отметить и комментарий. Комментарий пишется тоже в свободной форме, если иное не согласовано с заказчиком проекта.
Основной смысл выполнения этой операции - сделать удобную табличку для отработки возможных проблем, как в логике программы и служебных операциях, так и в логике бизнес-процессов. Соответственно, методики достижения цели тоже могут быть разными. Главное получить нужный результат.
Выбрать инструменты для тестирования
Обычно инструменты для тестирования используются в мире разработки программного обеспечения. Однако, при разработке систем автоматизации также иногда рационально применять подобные схемы в работе. Они нужны например для того, что искусственно перегрузить систему автоматизации и оценить её способность работать в стрессовом режиме.
Инструменты бывают самые разные. Простейший вариант - это оболочка с программируемым набором скриптов. Скажем, даже автокликер, запущенный на нескольких машинах одновременно, сможет имитировать нагружение системы работой. Это так называемое нагрузочное тестирование.
Используйте логику верификации
Верификацией называется процесс оценки системы с целью определения удовлетворяют ли результаты текущего этапа разработки условиям, сформированным в начале этого этапа или нет. По сути дела, мы в итоге должны сказать довольны мы результатами или не довольны.
Используйте логику валидации
Слово валидация сегодня довольно модное. Валидатор в метро, валидация проездного, валидатор в магазине. Всё это уже привычные формулировки.
Валидация - это определение соответствия разрабатываемой системы автоматизации ожиданиям и потребностям пользователя и требованиям к системе.
Все несоответствия можно вносить в реестр замечаний. Очень полезно понять, что произошли какие-то недоразумения на самом раннем этапе реализации проекта. Чем позже это произойдет, тем сложнее будет произвести внедрение.
Исключите парадокс пестицида
Эта формулировка пришла в мир автоматизации из сферы разработки профессионального программного обеспечения. Заключается парадокс в том, что для поиска новых проблем нужны новые тесты. Один и тот же алгоритм поиска перестанет обнаруживать проблемы, но не исключит их полностью.
Значит, для того, чтобы обнаружить проблемы, нужно придумывать всё новые и новые режимы обкатки. Понятно, что если обкатывается процесс купли-продажи товара в системе CRM, то вариантов решения может быть не так и много, поскольку он линейный. Однако попробовать в разных вариантах всё это вполне логично
Как правильно выполнить тестирование системы автоматизации
Тестирование системы выполняется двумя способами:
- Автоматический, подразумевающий нагружение системы компьютерными алгоритмами
- Пользовательский, когда будущие пользователи системы используют систему автоматизации "на всю катушку".
Поскольку мы разрабатываем и внедряем не обычные программный продукт, а систему автоматизации, нам важно совместить сразу несколько вариантов тестирования. Ведь только пользователь может оценить такие факторы, как понятность, логичность, простоту восприятия, удобство разрабатываемой системы.
Большую часть действий должна проверить команда пользователей от заказчика под присмотром разработчиков и в присутствии протокола замечаний.
Автоматически рационально проводить нагрузочные тесты. Гораздо проще сымитировать процесс нагрузки с помощью компьютеров, чем сделать это руками. Столько пользователей порой просто не найти. Кроме того, автоматическое тестирование может замерять скорость работы и анализировать просадки на каждом этапе.
