Статьи
3 прочтения · 6 месяцев назад
SD-EP64: Конвейеры данных
Умение обрабатывать, хранить и использовать данные прямо влияют на успех любой компании. Такой процесс обычно называют – конвейер данных. Конвейеры данных включают 5 основных этапов: Сбор данных. Данные собираются из сторонних хранилищ данных, различных потоков данных и приложений. Прием данных. В процессе приема данные загружаются и организуются в очередях событий. Хранение данных. После данные размещаются в data warehouses, data lakes и data lakehouses, а также в различных системах, таких как базы данных, обеспечивая хранение...
2 прочтения · 6 месяцев назад
SD-EP63: 79 Engineering Blogs
Представляю вашему вниманию инженерные блоги лидеров IT индустрии: P.S. Что бы еще можно было посоветовать?
23 прочтения · 7 месяцев назад
SD-EP62: Оркестрация и хореография
Есть два вида взаимодействия микросервисов друг с другом – оркестрация и хореография Оркестратор (Orchstrator) выступает в качестве распределительного центра. Он отвечает за взаимодействие и управление всеми запросами между различными сервисами. Тут как раз подходит аналогия дирижёра и оркестра. Хореография — это, как если бы хореограф установил...
1 прочтение · 7 месяцев назад
SD-EP61: Uber CI/CD
Uber — одна из самых инновационных компаний. Давайте рассмотрим их стек CI/CD подробнее: Планирование. Тут Jira, без комментариев. Backend. Spring Boot (https://spring.io/projects/spring-boot) используется для разработки сервисов. Для контроля и управления конфигурациями Uber создал систему под названием Flipr (https://www.uber.com/blog/flipr/). Code issues. Uber разработал NullAway (https://github.com/uber/NullAway), для устранения проблем с NullPointer и NEAL (https://github.com/uber/NEAL) для контроля написания качественного кода...
3 прочтения · 7 месяцев назад
SD-EP60: OAuth 2.0
OAuth 2.0 — это мощная и безопасная платформа, которая позволяет различным приложениям безопасно взаимодействовать друг с другом от имени пользователей, не передавая конфиденциальные учетные данные. Когда вы используете OAuth, вы получаете токен OAuth, который представляет вашу личность...
1 прочтение · 7 месяцев назад
SD-EP59: Как организовать доступ к Web-API для вашего сайта?
Когда мы открываем пользователям доступ к Web-API, нам необходимо убедиться, что каждый вызов API аутентифицирован. Это означает, что мы хотим быть уверенны в том, что пользователь — это пользователь ;). Мы рассмотрим два распространенных способа: Аутентификация на основе токенов Шаг 1 — пользователь вводит свой пароль в клиенте, и клиент отправляет пароль на сервер аутентификации. Шаг 2. Сервер аутентификации проверяет учетные данные и генерирует токен со сроком действия. Шаги 3 и 4 — теперь клиент может отправлять запросы к ресурсам сервера с токеном в HTTP-заголовке...
3 прочтения · 7 месяцев назад
SD-EP58: Наиболее используемые механизмы аутентификации
Ключи SSH: криптографические ключи используются для безопасного доступа к удаленным системам и серверам. Токены OAuth: токены, которые обеспечивают ограниченный доступ к пользовательским данным в сторонних приложениях. Сертификаты SSL: цифровые сертификаты обеспечивают безопасную и зашифрованную связь между серверами и клиентами...
1 прочтение · 7 месяцев назад
SD-EP57: Почему SSD настолько быстрый?
Твердотельный накопитель (SSD) читает до 10 раз быстрее и записывает до 20 раз быстрее, чем жесткий диск. SSD — это устройство хранения данных на основе флэш-памяти. SSD-накопители полностью состоят из электронных компонентов, в них нет движущихся или механических частей, как в жестких дисках (HDD) Шаг 1: команды поступают от пользователя через хост-интерфейс. Интерфейс может быть Serial ATA (SATA) или PCI Express (PCIe). Шаг 2: Процессор в контроллере SSD принимает команды и передает их контроллеру флэш-памяти...
1 прочтение · 7 месяцев назад
SD-EP56: Docker - Оптимизация развертывания приложений
Часто сталкиваетесь с проблемой «это не работает на моей машине»? Docker может помочь Вам в этом! Docker совершил революцию в разработке и развертывании программного обеспечения. 1. Все в одном месте: Docker упаковывает ваше приложение и его зависимости в портативный контейнер — код, среду выполнения, инструменты, библиотеки и настройки. 2. Виртуальная изоляция. Запускайте разнообразные приложения с разными настройками на одном хосте без конфликтов благодаря namespaces и cgroups Linux. 3. Не виртуальные машины...
2 прочтения · 7 месяцев назад
SD-EP55: Как компании внедряют код в производство?
Шаг 1. Процесс начинается с того, что владелец продукта создает «пользовательские истории» на основе требований. Шаг 2. Команда разработчиков собирает «пользовательские истории» из журнала (например JIRA) и запускает их в спринт в течение двухнедельного цикла разработки. Шаг 3. Разработчики вносят изменения в исходный код в репозиторий кода Git. Шаг 4: В Jenkins запускается сборка. Исходный код должен пройти модульные тесты, порог покрытия кода и шлюзы в SonarQube. Шаг 5. После успешного завершения сборки она сохраняется в артефакте (JFrog)...
5 прочтений · 7 месяцев назад
SD-EP54: Виртуализация (VMware) vs Контейнеризация (Docker)
Виртуализация — это технология, которая позволяет создавать несколько моделируемых сред из одной физической аппаратной системы. Контейнеризация — это упаковка программного кода со всеми его необходимыми компонентами, такими как библиотеки,...
1 прочтение · 7 месяцев назад
SD-EP53: Как устроена файловая система Linux?
Файловая система Linux раньше напоминала неорганизованный город, где люди строили свои дома там, где им заблагорассудится. Однако в 1994 году был введен стандарт иерархии файловой системы (FHS). Благодаря внедрению такого стандарта, как FHS, программное обеспечение может обеспечить единообразие структуры в различных дистрибутивах Linux...