Автор статьи выделил пять важных тенденций, на которые стоит обратить внимание:
Антигравитация данных
Если в двух словах, то за последние пару десятилетий компании наплодили хранилищ, озер и облаков, в которых их данные надёжно припаркованы. Но проблема, как выяснилась, именно в этой "надежной парковке", которая не позволяет достаточно быстро извлекать и, что ещё важнее, не позволяет эффективно сливать эти данные друг с другом и с другими источниками.
Поэтому путь один - тренд на распределенные хранилища данных, Data Mesh подходы и внедрение процессов и инструментов, которые позволят объединять на лету данные из разных хранилищ и источников.
Дата-продукты - это круто!
Всё большее количество организаций начнёт осознавать ценность данных и будет пытаться встроить процесс управления данными в процессы получения прибыли. А это значит, что каждая бизнес-команда захочет самостоятельно и быстро разрабатывать свои дата-продукты, а не ждать в общей очереди в централизованное хранилище данных. Иначе говоря, 2024 год станет поворотным для развития data mesh!
Повторяя лучшие практики гигантов электронной коммерции, современные платформы обработки данных должны уметь предоставлять такие функции, как персонализированные рекомендации и описания достоинств популярных продуктов, основанные на мнениях потребителей. Более того, эти платформы должны облегчать выполнение запросов в режиме реального времени непосредственно из каталога данных и поддерживать интерактивный цикл обратной связи для всех видов запросов: пользователей, данных, запросы на изменения. Точно так же, как своевременная доставка имеет важное значение в электронной коммерции, быстрый и надежный доступ к данным становится незаменимым для организаций.
Сложный выбор между модным трендом GenAI и стремящейся к нулю возможностью получения прибыли от него
Все очень хотят внедрить генеративные модели и LLM в свои процессы, но сталкиваются с проблемами качества и достоверности данных, которыми они эти модели кормят)) Организации ещё не готовы управлять своими данными так, чтобы обеспечить надлежащее качество моделей на высочайшем уровне, а уж внесение изменений в модель на лету - это вообще за гранью фантастики!
Стратегия управления данными организации должна влиять на все производственные процессы компании, чтобы обеспечивать достоверность данных, вводимых в модели искусственного интеллекта, соблюдать сложные регуляторные нормы и способствовать интеграции моделей в существующие системы и процессы.
Организациям необходимо будет более эффективно управлять затратами на облачные вычисления
Растущие расходы на облачный хостинг и управление данными мешают компаниям эффективно прогнозировать и составлять бюджеты. Решение этой финансовой проблемы требует от компаний тщательного анализа затрат на облачные технологии и поиска путей повышения эффективности без ущерба для производительности. Это предполагает детальное изучение данных и вариантов их использования, выявление областей неэффективности и поиск более экономичных вариантов хранения.
В 2024 году мы увидим значительный рост использования информационных панелей FinOps для более эффективного управления расходами на передачу облачных данных.
Data Security и Governance надо упрощать!
Поскольку для обновления множества изолированных систем требуется время, невозможно обеспечить безопасность или управление данными на всем ИТ-ландшафте корпоративных систем одновременно.
Чтобы справиться с этой задачей, организации используют глобальные политики для data-security и data governance. Чтобы управлять глобальными политиками и едиными стандартами в реальном режиме времени, необходимо внедрение подходов, основанных на применении логических и концептуальных моделей данных.
Резюме: The Future Is Logical
Чтобы преодолеть проблемы, присущие каждой из этих пяти тенденций, организациям необходимо будет внедрить стратегии управления данными, рассчитанные на поддержку и работу с распределенными данными. Традиционные подходы в управлении данными, основанные на физической репликации данных из нескольких систем в центральное хранилище, такие как классическое DWH и озеро данных, изначально не поддерживают подход data mesh. Напротив, логические подходы к управлению данными позволяют подключаться в режиме реального времени к разрозненным данным без репликации, изначально поддерживая распределенные данные.
В результате логическое управление данными широко распространится в 2024 году и в последующие периоды, поскольку оно позволяет организациям управлять распределенными данными наиболее эффективным и экономичным способом.
Вывод: внедряйте централизованно процессы моделирования данных и управляйте разрозненными данными через концептуальные модели и шаблоны.
Оригинальный текст статьи на английском языке: https://www.dataversity.net/data-management-predictions-for-2024-five-emerging-trends
Поддержать канал | Подписаться на скачивание файлов | Читать в телеграм
Если статья была полезна или просто понравилась, помогите другим быстрее найти её - поставьте лайк.
