Как выглядит современный конвейер потоковой передачи данных в режиме реального времени?
Для Amazon Web Services (AWS) и Snowflake современный конвейер потоковой передачи данных позволяет организациям легко получать данные практически в режиме реального времени с одной платформы на другую.
В основе искусственного интеллекта и аналитики данных лежат данные, но иногда бывает сложно передавать данные из одного места в другое с помощью оптимизированного подхода. Например, организация может иметь много данных в Amazon Web Services (AWS) и использовать Snowflake для анализа данных. AWS и Snowflake объединились в партнерство, которое упрощает этот сценарий благодаря интеграции Amazon Kinesis Data Firehose и Snowflake Snowpipe Streaming.
«Ни один лидер технологической организации не хочет заставлять всех использовать один инструмент, потому что ни один инструмент, как правило, не является лучшим для всего», — сказал Джеймс Мэлоун, старший директор по управлению продуктами в Snowflake, в эксклюзивном интервью VentureBeat. Это означает, что Snowflake на AWS и все остальные должны стараться обеспечить бесперебойную совместную работу, поэтому я думаю, что это партнерство является отражением упрощения совместного использования нескольких вещей».
Почему важно сотрудничать AWS со Snowflake для потоковой передачи данных
Amazon Kinesis Firehose – это полностью управляемый сервис AWS для доставки потоковых данных в режиме реального времени из различных источников. Snowpipe Streaming — это функция Snowflake, которая позволяет принимать данные в таблицы Snowflake в режиме реального времени из внешних источников.
Несмотря на то, что в прошлом можно было передавать потоковые данные из AWS в Snowflake в режиме реального времени, этот процесс не всегда был бесшовным или оптимизированным. В эксклюзивном интервью VentureBeat Минди Фергюсон (Mindy Ferguson), вице-президент AWS по обмену сообщениями и потоковой передаче, сказала, что основная цель партнерства заключается в том, чтобы обеспечить простоту.
«На самом деле, представление о потоковой передаче в современном конвейере потоковых данных заключается в том, что клиенты говорят нам, что они хотят упрощения, а также хотят видеть снижение стоимости», — сказал Фергюсон. «Так что это было частью того, как, как и почему мы это построили».
Озеро данных по-прежнему имеет значение, но может быть упрощено для потоковой передачи в режиме реального времени
Фергюсон отметил, что еще одной целью партнерства является сокращение задержки в самом процессе потоковой передачи, чтобы лучше реализовать больше возможностей в режиме реального времени. По словам Фергюсона, с интеграцией устраняется несколько дополнительных шагов, которые организация должна была предпринять для обеспечения соединения между AWS и Snowflake.
До интеграции Amazon Kinesis Data Firehose и Snowflake Snowpipe Streaming организация могла включить поток данных из AWS в Snowflake, используя уровень озера данных, используя Amazon S3 в качестве промежуточного шага. Данные, поступающие из Kinesis Data Firehouse, сначала должны были быть приняты, а затем перенесены на S3, откуда Snowflake Snowpipe мог бы получить данные. Новая интеграция упрощает процесс, позволяя передавать данные непосредственно из Amazon Kinesis Data Firehose в Snowflake Snowpipe Streaming.
«Если вы хотите перенести свои данные в Snowflake, на самом деле нет необходимости иметь промежуточную область хранения, и клиенты сделали это в нескольких местах, S3 является одним из них», — сказал Фергюсон.
Она добавила, что, по ее мнению, когда организации действительно начнут думать о том, как оптимизировать потоковую передачу данных в реальном времени, они действительно рассмотрят вопрос о том, как использовать фактическое хранилище потоковой передачи для перемещения данных в режиме реального времени и доставки их в пункт назначения как можно быстрее.
В настоящее время интеграция находится на стадии публичного бета-тестирования. Несмотря на то, что партнерство с AWS Snowflake теперь позволяет легко передавать данные, поступающие из AWS, в Snowflake для анализа, потоковая передача в обратном направлении пока не так оптимизирована. Отвечая на вопрос о том, поддерживается ли простое получение данных из Snowflake через потоковую передачу в AWS для использования с хранилищем данных Amazon Redshift, Мэлоун сказал, что в настоящее время это не поддерживается, но намекнул, что это будущая возможность.
«Я не буду называть какие-либо сроки, но это то, что было горячей темой внутри Snowflake», — сказал Мэлоун.