Data Discovery – сбор данных из различных источников и объединение их в единый пул, который можно быстро исследовать, оценить и проанализировать. Программное обеспечение такого класса дает возможность использования интерактивного графического интерфейса на основе “in-memory”. Бизнесу нужны простые, четкие и быстрые BI-системы, и Data Discovery были призваны стать альтернативой классическим системам бизнес-аналитики.
Если обобщить, то Data Discovery – это технология поиска сведений для проекта, основанных на данных. Данные при этом могут быть любые – от коммерческих до государственных, главное – знать их источники. Часто именно DD используются в работе с исследованием больших массивов информации из соцсетей.
Появление
Впервые термин громко прозвучал в 2010 году и по сей момент не теряет своих позиций в списке перспективных технологий. Многие большие компании, среди которых Oracle, Tableau Software, QlikTech, Tibco Software, сделали особый акцент на Data Discovery и разрабатывают собственные программные продукты с вычислениями в оперативной памяти, дашбордами и др.
Особенности
Применение Data Discovery предполагает полное хранение в оперативной памяти всех обрабатываемых данных (архитектура “in-memory”). Высокая интерактивность таких систем обеспечивает не только высокую эффективность проводимого бизнес-анализа, но и гибкость.
Известная консалтинговая компания Gartner выделяет два класса продуктов, которые реализуют функционал DD:
- корпоративные BI
основные разработчики – мегавендоры (вендоры-лидеры), покупатели – ИТ-службы/компании/департаменты.
Все идет сверху вниз: ИТ-моделирование, построение запросов к БД и ХД и др. Работа с пользователем идет через отчеты и приборные панели с отражением KPI;
- спецплатформы DD
часто их разработчиками являются стартапы или небольшие компании.
Здесь другая система – снизу вверх. Пользовательский же интерфейс полон средств визуализации, развертывают решения часто сами пользователи.
Разница между классами достаточно велика и отражает различия в требованиях профильных служб и конкретных бизнес-пользователей. Да, разрыв сокращается, но пока эксперты не могут сказать, когда произойдет (и произойдет ли вообще) слияние. Предполагается возможная интеграция с системами Business Intelligence и становление DD их составной частью.
Одна из особенностей Data Discovery в том, что их использование часто сопряжено с текстами. Соответственно, акцент идет на дополнительные инструменты, без чего взаимодействовать с DD значительно сложнее. Это лингвистическое программное обеспечение, способное обрабатывать и анализировать тексты.
Преимущества
Среди основных преимуществ DD:
- выполнение кроссплатформенного поиска с помощью единого интерфейса;
- обеспечение контроля и конфиденциальности данных. Пользователь может искать только те данные в каталогах, на просмотр которых у него есть доступ;
- экономия на судебных разбирательствах за счет изменения данных;
- обнаружение редких корпоративных данных, которые могут оказать негативное влияние на компанию.
Перспективы Data Discovery
Big Data Discovery – метод анализа данных на основе комбинации технологий и методов Big Data, Data Discovery и Data Science. В отличие от DD, Big Data Discovery опирается на машинное обучение и искусственный интеллект для анализа и независимого предоставления информации.
Smart Data Discovery (SDD), как и предыдущий метод, при выполнении анализа данных базируется на Machine Learning и Artificial intelligence, но предполагает большее влияние пользователя.