В прошлой статье про метрики интерфейса мы говорили о том, что при оценке интерфейса важно оценить три аспекта: эффективность, продуктивность и удовлетворенность. Если с первыми двумя еще все более-менее понятно, то как оценить удовлетворенность – большой вопрос.
Пока я читала статьи и собирала информацию для прошлого поста, я наткнулась на целые системы оценки интерфейса – SUS и UMUX. Они как раз и помогают оценить эту субъективную характеристику интерфейса – удовлетворенность. Да, делают они это не идеально, но на безрыбье сами знаете что.
Итак, начнем.
SUS
Эта система оценки интерфейса появилась еще 80-х годах.
SUS – это опросник, который состоит из 10 вопросов, в каждом из которых респонденту дается 5-балльная шкала для оценки его степени согласия с утверждением. 1 – полностью не согласен, 5 – полностью согласен.
В рамках опросника респонденту предлагается оценить следующие утверждения:
- Я думаю, я буду использовать эту фичу часто.
- Я считаю, что эта фича слишком сложна без веской на то причины.
- Я думал, что фича будет довольно проста в использовании.
- Я думаю, что мне понадобится помощь технических специалистов, чтобы воспользоваться этой фичей.
- На мой взгляд, многие возможности в этой фиче было хорошо реализованы.
- Я думаю, что в этой фиче слишком много противоречивых моментов.
- Мне кажется, большинство людей научились бы пользоваться этой фичей очень быстро.
- Эта фича слишком неудобна в использовании.
- Я чувствую себя очень уверенно в процессе работы с этой фичей.
- Мне пришлось изучить многое, прежде чем я смог разобраться с этой фичей.
В этом опроснике позитивные и негативные утверждения чередуются между собой. Это одновременно и плюс, и минус. Считается, если все утверждения в опросе позитивные или, наоборот, негативные, вы получите часть анкет с одинаковыми ответами по всем пунктам (например, "полностью согласен"). Но с другой стороны, люди, не желающие особо вчитываться, могут даже не заметить смену тона и на негативное утверждение ответить так, будто оно было позитивным.
Теперь поговорим о результате такого опроса. Чтобы оценить его, необходимо:
- Для каждого нечетного утверждения нужно из цифры, выбранной респондентом, вычесть 1. Например, если респондент поставил 5 в первом вопросе, то, вычтя 1, мы получим 4.
- Для каждого четного утверждения нужно цифру, выбранную респондентом, вычесть из 5. Например, если во втором вопросе респондент поставил 3, то, вычтя из 5 3, мы получим 2.
- Затем нужно сложить все числа (и по четным номерам, и по нечетным) и умножить сумму на 2,5. Это и будет финальное значение по шкале SUS.
SUS имеет 100-балльную шкалу. Поэтому итоговое число, которое получится после всех вычислений, должно быть меньше 100.
Само по себе число не отражает интерфейсных проблем. Это лишь база для их поиска.
Для оценки получившегося значения используется следующая шкала:
Если итоговое значение лежит выше 68, то интерфейс вполне неплох (такая граница была получена эмпирическим путем). Если значение ниже, то это повод начать копать глубже.
Плюсы:
- Еще одна метрика, которая в динамике или же при оценке разных версий интерфейса поможет принимать решения и обнаруживать последствия внедрения новых фич
- Вопросы опроса покрывают разные аспекты юзабилити: понятность фичи, необходимость обучаться для работы с ней, прозрачность логики ее работы и тд.
- Субъективность вопросов и наличие 5-балльное шкалы для каждого из них помогает более точно оценить удовлетворенность пользователей. Респонденты доступны целых 5 вариантов для оценки своих ощущений
Минусы:
- 10 вопросов – не так мало. Пользователи могут устать и не ответить на все вопросы или ответить не честно
- В формулировках вопросов чередуется положительные и отрицательный тон – где-то используется отрицание, где-то нет. Это может привести к тому, что пользователям будет тяжело воспринимать такие противоположные формулировки, они запутаются и устанут. Ну или даже не заметят чередования и ответят как придется
- Число, получаемое после оценки результатов опроса, не поможет отследить проблемы в интерфейсе. Это не время, затрачиваемое на выполнение задачи и не количество ошибок, которые четко интерпретируются и очень тесно связаны с интерфейсом. Оценка по методологии SUS – очень субъективная штука. Но, наверное, такой и должна быть шкала, которая оценивает субъективное восприятие интерфейса.
UMUX
Этот метод – альтернатива SUS. Он появился в 2010 году. Его отличие заключается в том, что он гораздо короче SUS-опроса – в нем всего 4 вопроса! Да, результат полученный с помощью 4 опросов может оказаться менее надежным. Но иногда просто нет возможности задать десяток вопросов, так как, например, юзабилити-опрос является частью большого опроса, в котором и так много вопросов. Или же время респондентов и исследователей ограничено.
Перейдем к самому методу.
UMUX предлагает респондентам следующие утверждения:
- Возможности этой системы удовлетворяют моим требованиям
- В процессе использования этой системы я злился и раздражался
- Эта система проста в использовании
- Я потратил очень много времени, решая свои задачи с помощью системы
И снова, два утверждения тут позитивные, а два негативные. И каждое утверждение, как и в SUS, нужно оценить по шкале, в данном случае, семибалльной (1 – совершенно не согласен, 7 – полностью согласен).
Есть еще несколько вариаций метода UMUX: UMUX-Lite, UMUX 5-points version. Но я решила так глубоко не лезть и оставить вам ссылку на статью, в которой вы сами сможете прочитать об этих методах.
Что касается расчета результата для UMUX-опроса, он очень даже напоминает способ расчета результата для SUS:
- Из ответа на каждое нечетное утверждение вычитаем 1
- Результат каждого четного утверждения вычитаем из 7
- Складываем все показатели и делим на 24
- А затем умножаем получившееся число на 100
- Рассчитываем это значение для каждого респондента, а затем находим среднее
С интерпретацией тут посложнее. UMUX – новый метод, а значит достаточной базы для формирования эмпирической шкалы оценки "хорошести" результата пока нет.
Но вот UMUX-Lite, хоть и костыльно, но оценить можно. Для этого нужно конвертировать результат по UMUX-Lite в SUS. И тогда результат уже можно будет интерпретировать. Но об этом я подробно рассказывать не буду. Если интересно – почитать можно в этой статье.
Когда и где использовать эти опросы
Исходя из утверждений, которые включает в себя опрос, несложно догадаться, что опрос должен идти сразу после того, как пользователь поработал с интерфейсом. Ну или пользователь должен настолько часто работать с интерфейсом, что он уже по памяти может воспроизвести свои ощущения относительно вашего сайта.
Лучше всего для исследования подойдут новые пользователи, в жизни которых ваш сайт появился сравнительно недавно. Это важно, потому что старые, матёрые и уже ко всему привыкшие пользователи не скажут вам о том, что система их раздражает или не дает спокойно выполнить задачу. Они уже ко всему привыкли, раз не ушли из вашего продукта раньше. Они уже знают, какая кнопка не работает, когда стоит обновить страницу, чтобы все починилось, а где лучше и вовсе никуда не кликать.
На этом у меня все. Но метрики и способы оценить интерфейс на этом не заканчиваются. Мы обязательно еще поговорим о всевозможным методах оценки интерфейса, а также о продуктовых метриках, системах аналитики и качественных исследованиях.
И когда-нибудь все описанное я попытаюсь применить на практике. И обязательно расскажу вам, что из этого вышло.
