Решение проблем даже в небольших кластерах и узлах K8s может оказаться непростой задачей, и зачастую выявить и решить проблему бывает очень тяжело. Кроме того, проблему не всегда можно легко отследить, поскольку она может скрываться в модуле или модулях, в отдельном контейнере, в управляющем объекте, на уровне управления или сразу в нескольких компонентах.

Как и ожидалось, когда вы работаете с крупномасштабной производственной средой с огромным количеством задействованных микрослужб, сложность растет в геометрической прогрессии.

Зачастую все эти микрослужбы создаются разными командами разработчиков. Кроме того, бывает так, что эти микрослужбы создаются разными командами, которые работают совместно в одном кластере K8s.

В таких ситуациях может возникнуть путаница относительно того, кто за какие неисправности отвечает.

Но не стоит волноваться – с помощью следующих советов вы сможете не допустить, чтобы процесс устранения неисправностей в Kubernetes превратился в бедлам и тратил лишние ресурсы.

Улучшение видимости

Один из самых важных вопросов, связанных с устранением неисправностей в Kubernetes, - это необходимость улучшения видимости.

Данные опроса State of Kubernetes Security 2020 показали, что 75% пользователей Kubernetes считают, что видимость – это важный момент, так как не всегда изучение того, что развернула организация, бывает легкой задачей.

Почему видимость так важна в K8s?

Лучшая видимость K8s на самом деле может помочь вам в получении информации об эксплуатации и безопасности. Кроме того, вы можете получить дополнительные преимущества:

Обеспечение совместимости. Когда организации придерживаются каких-то установленных стандартов или рекомендаций, вероятность того, что вы запутаетесь в сложных сценариях, становится меньше. Кроме того, это значит, что устранять неисправности будет тоже проще.
Обеспечение соответствующего трафика. По сути трафик данных между службами и микрослужбами – это почти что обрисовка работоспособности системы K8s. Трафик должен идти, куда должен. Иначе могут возникнуть довольно серьезные неисправности и критические проблемы.
Знание того, что работает внутри среды K8s, и определение того, настроено ли все это должным образом. Если вы не знакомы с вашей средой K8s, то процесс устранения любых неисправностей станет для вас невероятно сложным.
Прогнозирование сезонных потребностей. Если вы будете обладать хорошими знаниями о Kubernetes и пониманием того, как там все работает, то сможете рассмотреть определенные тенденции и закономерности в использовании ресурсов. Благодаря этому вы сможете делать прогнозы, которые, в свою очередь, могут помочь вам в устранении неисправностей.
Обеспечение эффективного использования ресурсов. Лучшая видимость может помочь вам определить, насколько эффективно вы используете ресурсы, соотнеся данные о задержке и информацию о производительности.
Эффективное устранение неисправностей. В конечном итоге, четкое представление о всем, что происходит внутри среды, использующей Kubernetes, может сделать процесс устранения неисправностей более результативным, так как вам будет проще найти основную причину проблем, с которыми вы сталкиваетесь в приложениях и микрослужбах.

Как улучшить видимость в K8s?

Если вы хотите улучшить видимость в K8s, то вам нужно собрать два типа данных: данные, поступающие в режиме реального времени, и накопленные данные.

Данные, поступающие в режиме реального времени, нужны для того, чтобы выявить и решить текущую проблему. А накопленные данные нужны для того, чтобы можно было сравнивать действия с тем, какие они должны быть.

Все эти данные могут оказаться довольно полезными при устранении неисправностей, и они окажутся еще более полезными, когда улучшат видимость в Kubernetes.

Вы можете улучшить видимость, сформулировав способ эффективного получения и анализа данных, полученных в режиме реального времени, и накопленных данных. Кроме того, видимость можно улучшить с помощью инструментов, которые упрощают процессы передового развертывания и мониторинга.

Существует огромное количество инструментов Kubernetes, с помощью которых можно осуществлять мониторинг, контроль и отслеживание в режиме реального времени. У этих инструментов есть страницы обновления статуса, метрики и функции OpenTracing, который подразумевают поддержку таких платформ, как LightStep и Datalog.

Создание организованной и эффективной защиты от ошибок и неисправностей

Недостаточно просто найти проблему. У вас также должен быть организованный и эффективный способ, как решить эту проблему. Таким образом, вы сможете быстрее решать подобные проблемы в будущем или предотвратить их появление вовсе.

Как мы уже говорили, лучшая видимость в Kubernetes позволяет более оптимально использовать ресурсы. И вы просто обязаны воспользоваться этим преимуществом. Все, что вам нужно, это придумать организованную и эффективную защиту от ошибок и неисправностей в Kubernetes.

В качестве первого шага поставьте себе цель исправить самые распространенные ошибки в K8s, которые мы описали ниже. В большинстве случаев все проблемы сводятся к обычным и довольно простым ошибкам, которые многие разработчики K8s склонны усложнять.

Распространенные ошибки в Kubernetes

CreateContainerConfigError. Как правило, эта ошибка связана с отсутствием ConfigMap или секрета (объекта K8s, который содержит конфиденциальные данные, например, учетные данные для входа в систему).

Проблема может быть связана с аутентификацией в реестре контейнеров или использованием неверного имени или тега образа. Определить это можно с помощью соответствующих команд.

CrashLoopBackOff. Это ошибка возникает в случае, если нет возможности запланировать модуль для узла. Это может произойти из-за того, что у узла не хватает ресурсов для того, чтобы запустить модуль, или модуль не может подключить запрошенные тома.

Kubernetes Node Not Ready. Эта ошибка возникает, когда рабочий узел завершает свою работу или дает сбой, что влечет за собой то, что вы не можете получить доступ к модулям с отслеживанием состояния, которые находятся на этом остановленном узле.

Как правило, такая проблема решается сама по себе через какое-то время. Но если время имеет большое значение, то вам придется перепланировать модули с отслеживанием состояния на другой узел, который на данный момент запущен.

Что касается других проблем, для них есть стандартный план устранения неисправностей, который включает в себя несколько шагов. Для того, чтобы устранить неисправности в модуле K8s, вам потребуется:

Изучить вывод команды kubectl describe pod
Проверить наличие ошибок в описании пода
Проверить наличие несоответствия между сервером API и манифестом локального модуля (и провести диагностику других проблем модуля с помощью журналов)
Выполнить на узле отладку посредством исполнения контейнера и с помощью эфемерного контейнера, а также команду debug pod

Когда дело касается кластеров K8s, то от вас требуется следующее: просмотреть основную информацию о кластере, извлечь журналы кластера и реализовать решения в соответствии с проблемой, которую вы обнаружили.

Например, для того, чтобы решить проблему, связанную со сбоем или завершением работы виртуальной машины, вам нужно будет перезапустить виртуальную машину сервера API. Это решение также подходит для проблем, связанных со сбоями на уровне управления и неправильной работой Kubelet.

У вас должен быть заранее подготовленный план действий, чтобы иметь возможность быстро найти ответ на нужный вопрос. Напомню, что устранение неисправностей в Kubernetes только кажется простым. Так что нет ничего плохого в том, чтобы иметь под рукой шпаргалки, особенно если вы решаете нетривиальные проблемы.

Применение решения для устранения неисправностей в Kubernetes

Для многих компаний или команд лучшим способом решения проблем в Kubernetes является использование специальной службы устранения неисправностей.

Не каждая команда может похвастаться наличием высококлассных специалистов в области Kubernetes, которые способны на ура решать проблемы по мере того, как они возникают. И не каждая команда располагает всеми необходимыми инструментами и систематическими процедурами, которые нужны для решения проблем с контейнерами, модулями, кластерами и узлами.

Решение по устранению неисправностей может предусматривать единую платформу для отслеживания действий в K8s. Это помогает упростить поиск источника проблем.

Такого рода система может предложить эффективный способ, как улучшить видимость в K8s, например, с помощью подробной хроники. Или она может в организованном порядке отображать все изменения, внесенные в код и конфигурацию, журналы модулей, состояния развертываний, оповещения, различия в коде и прочие сведения.

Кроме того, существуют усовершенствованные службы устранения неисправностей в Kubernetes, которые созданы для того, чтобы предоставлять информацию о зависимостях служб. Они помогают упростить понимание межсервисных изменений, которые происходят внутри организации.

Они могут предоставлять полезную информацию о цепных процессах, вызванных определенными изменениями. Эта информация призвана помогать вам в определении и решении проблемы.

Заключение

Если я скажу, что процесс устранения неисправностей в Kubernetes можно упростить, то вам может показаться, что я смеюсь над вами. А если я уверю вас в том, что есть действительно простой способ решения проблем в K8s, то я стану новатором, и еще каким.

Но, разумеется, нет какого-то особого способа сделать процесс устранения неисправностей не таким сложным и не таким трудоемким, каким он обычно бывает.