На пути к карьере в области науки о данных вы, несомненно, столкнетесь с возможностями использовать решения для управления контейнерами. Здесь мы рассмотрим два решения - Kubernetes и Amazon Elastic Container Service (ECS) - с точки зрения, которая имеет смысл для начинающих и действующих специалистов по данным.
Оба варианта поддерживают развертывание моделей машинного обучения
Если вы заинтересованы в создании и использовании моделей машинного обучения в рамках своей работы в качестве специалиста по данным, существуют учебные пособия, которые помогут вам сделать это на обеих платформах. Amazon предлагает пошаговое руководство для специалистов по данным:
https://aws.amazon.com/ru/blogs/machine-learning/deploy-deep-learning-models-on-amazon-ecs/
Кроме того, существует набор инструментов машинного обучения для пользователей Kubernetes под названием Kubeflow. Это портативное и масштабируемое решение с открытым исходным кодом. Люди могут применять его к любым новым или существующим развертываниям Kubernetes.
Оба варианта - надежный выбор
Когда вы смотрите на сравнение Kubernetes и ECS, не удивляйтесь, обнаружив подробности о зонах доступности и общей надежности. Выбор надежного сервиса может помочь вам избежать сбоев, которые могут временно сорвать ваши проекты в области науки о данных.
ECS работает в 69 зонах доступности и 22 регионах. Кроме того, ECS подпадает под действие Amazon Web Services (AWS). Это означает, что он гарантирует время безотказной работы не менее 99,99%.
https://towardsdatascience.com/stuck-between-ecs-and-kubernetes-6b5d42c000b5
Kubernetes подчеркивает надежность с помощью подхода, который распределяет модули Kubernetes между узлами, чтобы сделать их более устойчивыми к сбоям приложений. Более того, высокая доступность Kubernetes распространяется как на уровень инфраструктуры, так и на уровень приложений.
Более того, с выпуском Kubernetes 1.2 появилась поддержка запуска отдельных кластеров в нескольких зонах доступности, предлагаемых облачными провайдерами. Однако выбранные зоны должны находиться в одном регионе и предоставляться одной облачной службой.
Эта версия Kubernetes автоматически предлагала множественный выбор зон пользователям AWS и Google Compute Engine (GCE). Однако применение соответствующих меток к узлам и томам создает поддержку дополнительных облачных сервисов.
Amazon ECS является частью существующей экосистемы
Amazon ECS является частью экосистемы AWS. В одних случаях это дает преимущества, а в других - недостатки. Например, выполнить первоначальную настройку проще и быстрее по сравнению с Kubernetes, потому что вы можете сделать это через Консоль управления AWS и не нужно настраивать панель управления, которая требуется Kubernetes.
Однако ECS также имеет высокий уровень привязки к поставщику, что не позволяет вам перенести контейнерное приложение на любого другого поставщика или платформу. Напротив, Kubernetes - это решение с открытым исходным кодом, которое позволяет перемещать контейнеры в другое место, в том числе поставщикам гибридных и мультиоблачных сред.
Тем не менее, AWS регулярно выпускает новые продукты, представляющие интерес для специалистов по данным. Например, в 2018 году компания развернула рынок машинного обучения, на котором можно было опробовать более 150 новых моделей и алгоритмов. Вы также можете найти подробную разбивку продуктов AWS, которые могут поддержать ваши проекты в области науки о данных.
Если вы уже используете многие продукты, предлагаемые AWS, или планируете это сделать в ближайшее время, выбор ECS может иметь больше смысла, чем использование Kubernetes. В противном случае вы можете счесть ECS слишком строгим.
Руководства по Kubernetes, ориентированные на науку о данных, легко доступны
Специалистам по обработке данных легко найти общую информацию об использовании ECS, но детали о том, как использовать ECS в своей работе, встречаются не так часто. Эта реальность может означать, что люди тратят больше времени, чем ожидалось, на изучение того, как применять ECS в проектах по науке о данных, особенно на ранних этапах их использования.
Хотя некоторые курсы для специалистов по анализу данных охватывают использование ECS, содержание часто включает только отдельные модули с классами, которые охватывают более широкий спектр тем по науке о данных в рамках учебной программы.
С другой стороны, вы можете быстро найти объяснения Kubernetes, ориентированные на специалистов по данным. Это упрощает представление о том, почему вы можете использовать его вместо других служб. Точно так же создатели контента приводят реальные примеры применения Kubernetes в проектах по науке о данных, например, для прогнозирования уровня оттока клиентов.
Затраты на ECS могут быть более простыми
Некоторые специалисты по данным могут захотеть работать с ECS или Kubernetes, оплачивая расходы самостоятельно, вместо того, чтобы полагаться на работодателя. В таких случаях расчет расходов, связанных с ECS, может вызвать меньше проблем, поскольку AWS предлагает калькуляторы цен, чтобы избежать сюрпризов.
Существуют также бесплатные уровни, связанные с продуктами AWS. Поначалу это звучит хорошо. Однако пользователи сообщают о получении крупных счетов после истечения срока их права на бесплатные услуги, но они этого не осознают.
Основная причина, по которой расчет цен с Kubernetes не так прост, - это растущая сеть сертифицированных поставщиков услуг, которые могут помочь людям начать использовать Kubernetes. Некоторые из этих организаций также предлагают продукты со встроенной поддержкой Kubernetes.
Это означает, что цены, которые вы платите за использование Kubernetes через этих провайдеров, будут разными.