Бывший сотрудник Microsoft объяснил, почему ошибки в обновлениях Windows увеличились
Увеличилось ли количество ошибок в обновлениях Windows за последние пару лет? Да, но какова причина увеличения количества ошибок? На этот вопрос в недавнем видео ответил бывший старший сотрудник отдела тестирования Microsoft Джерри Берг, более известный под псевдонимом Barnacules.
За последние пару лет Microsoft значительно изменила процессы тестирования. Берг описывает, как тестирование проводилось в конце 2014 года и начале 2015 года, и как изменились процессы тестирования Microsoft с тех пор.
Еще в 2014/2015 годах в Microsoft работала целая команда, которая занималась тестированием операционной системы, сборок, обновлений, драйверов и другого кода. Команда состояла из нескольких групп, которые проводили тесты и обсуждали ошибки и проблемы на ежедневных встречах. Тесты проводились вручную командой и с помощью автоматического тестирования, и, если тесты были пройдены, можно было интегрировать дальнейших код в Windows.
Команды тестирования проводили тесты на «реальном» оборудовании в лаборатории с помощью автоматизированного тестирования. Машины имели разные аппаратные компоненты, например, процессоры, жесткие диски, видео и звуковые карты и другие компоненты для охвата широкого спектра конфигураций системы, но и это означало, что в процессе могли быть обнаружены ошибки, которые затрагивали только определенные аппаратные компоненты или конфигурации.
Microsoft уволила почти всю команду тестирования Windows, поскольку она перенесла фокус с трех разных систем — Windows, Windows Mobile и Xbox — на одну систему тестирования. Компания перенесла большую часть тестирования на виртуальные машины, и это, по мнению Берга, означало, что тесты больше не проводились на реальных и разнообразных конфигурациях оборудования в большинстве случаев.
Основным источником данных, помимо существующих автоматизированных систем тестирования, являются телеметрия и Windows Insiders. Сборки Windows Insider устанавливаются на миллионах устройств, и Microsoft собирает данные телеметрии со всех этих устройств.
В случае сбоя Microsoft получает информацию об этом. Одна из проблем, связанных со сбором телеметрии, заключается в том, что большинство ошибок не улавливается ею. Если что-то не работает должным образом, Microsoft может быть не в состоянии различить соответствующие биты из данных телеметрии. Хотя теоретически возможно, что пользователи сообщат о проблемах, многие этого не делают, а в других случаях могут возникнуть проблемы из-за других отзывов, которые Microsoft получает от инсайдеров. Кроме того, хотя инсайдеры могут сообщать об ошибках, часто бывает так, что необходимая информация не предоставляется Microsoft, что создает огромные проблемы для инженеров, которым поручено решать эти проблемы.
Заключительные слова
Microsoft поменяла внутреннюю команду тестирования на данные телеметрии, которые она собирает из Insider Builds, которые она отправляет на потребительские и бизнес-устройства, и заменила большую часть компьютеров, которые использовались для тестирования в виртуальных средах.
Все это привело к увеличению числа проблем и ошибок, с которыми пользователи сталкиваются на производственных компьютерах при установке обновлений Windows или обновлений функций.