Зачем нам большие данные? Дело в том, что сейчас, в период цифровой трансформации, подход к управлению немного поменялся – раньше на основании опыта, интуиции и прочего выдвигалась некая гипотеза, дальше принималось управленческое решение, производились какие-то воздействия на внешний мир, по результатам мы понимали, справедлива гипотеза или нет, и надо что-то подправить.
Сейчас же сами управленческие гипотезы основаны на данных, потому что данные начали накапливаться. Конечно, этот процесс был не очень быстрым. Еще в 2000 годы внедрялись и системы хранения и обработки данных, и их аналоги, потом появились технологии, связанные с интернетом, которые позволили данные не просто хранить у себя, но еще и передавать куда-то. Оказалось, что эти сайты, странички, сервисы и прочее можно каким-то образом эксплуатировать, данные из них можно сохранять у себя, для того, чтобы эти данные могли решать какие-то задачи.
Данные постепенно накапливались, и в один прекрасный момент, практически по закону Гегеля, перешли из количества в качество. Это и есть Big Data. Данных стало настолько много, что даже в данных, которые накапливает абсолютно неприметная компания, есть какие-либо ценные закономерности, которые можно пытаться эксплуатировать, для получения какого-либо эффекта, чаще экономического.
Как можно получить ценность из Big Data? Ведь хранить большие объемы данных - это довольно большие затраты.
Наша конечная цель - это ценность для бизнеса (бизнеса в широком понимании, для научной деятельности тоже). Большие данные позволяют эту деятельность оптимизировать. Например, они могут быть использованы для оптимального распределения маршрутов, мы решаем логистические задачи с помощью Big Data, когда описываются наши геоданные, стоимость километра, наличие пробок, количество машин, усталость водителя и так далее. Если мы анализируем, если мы пытаемся сделать некую систему, которая каждому водителю подсказывает оптимальный маршрут, мы в конечном счете экономим время, экономим на затратах, связанных с обслуживанием, на бензине. Но Big Data может быть и не только в этом. В данном случае подразумевается, что мы накопили много данных о маршрутах перемещениях, водителях, и так далее.
Big Data можно получить и из промышленных данных. Например, из интернета вещей можно получить огромную кучу данных, потому что датчики постоянно передают данные, с каждого холодильника, чайника, промышленного оборудования. На большом станке таких датчиков могут быть десятки. Эти датчики описывают различные параметры работы оборудования, измеряют вибрацию, всякие электрические характеристики.
Мы можем взять в качестве промышленного объекта сам дата-центр, в котором хранятся эти самые данные, на серверах, стойках. У этих стоек тоже есть и системная нагрузка, на стойках размещены виртуальные машины со своей памятью, температура внутри тоже влияет, в общем, очень много параметров нужно поддерживать в оптимальном состоянии. Значит, надо эти параметры анализировать и при необходимости регулировать.
Если у нас за окном есть температурный датчик, и он каждую секунду посылает текущую температуру, то мы можем просто посчитать количество секунд в год и получить Big Data даже отсюда.
Это тоже Big Data, мы эти данные можем эксплуатировать (в этом отличие от просто данных). Если мы говорим про температуру за окном, то она может позволить нам сделать какой-то предиктор, который как минимум скажет нам, стоит ли сегодня брать зонтик.
Большие данные нужны для того, чтобы решать какие-то практические задачи, принимать решения до того, как состоится что-то плохое или хорошее. То есть Big Data нужны для проактивности, по сути - для проактивного управления.
По материалам вводной лекции к курсу В.С. Кирева "Большие данные. Машинное и глубокое обучение"
#bigdata #технологии #цифровизация #наука и техника #it-технологии
Магистратура ВИШ МИФИ готовит специалистов в области цифровой трансформации жизни, цифровой трансформации экономики, цифровой трансформации технологии и индустрии