Продолжение. Начало здесь
После появления искусственного интеллекта и машинного обучения, изменилось определение «больших данных», их стали называть «Date Science» , а человека, который с ними работает «Date Scientist».
«Date Scientist» это не человек со счетами, это человек который занимается творческой работой. Для того чтобы к этому творчеству прийти, безусловно нужны какие-то определённые навыки. Надо знать математику, статистику, программирование.
«Date Scientist» это программист-аналитик, который берёт данные, анализирует их, и настраивает алгоритмы, которые помогают искать правильные ответы. «Date Scientist» - это уникальное сообщество аналитиков, которые находятся на острие прогресса.
«Мы сами не знаем, к чему это в конечном итоге приведёт, но мы явно двигаем человечество вперёд - от клинописи до закона Мура, от закона Мура – просто невозможно представить до чего!»
Эпоха «больших данных» только начинается. Как она поменяет нашу жизнь, сейчас трудно даже представить.
В обозримом будущем машины станут для нас чем-то вроде оракулов, к которым наши предки приходили за предсказаниями.
«Большие данные», как и оракулы, не знают точных ответов на эти вопросы, но они позволяют делать предположения с большой долей вероятности.
Как лучше перевезти партию процессоров из Китая в Буэнос-Айрес, как будет продаваться продукт нашей компании, куда мне пойти поужинать и какой фильм посмотреть вечером.
«Большие данные» скажут, да и уже говорят. Проанализировав миллион вариантов и данных с датчиков на кораблях, они скажут, что лучший маршрут из Тайваня в Буэнос-Айрес - вот такой; проанализировав ещё миллион вариантов, они скажут, что продаваться ваш продукт будет вот так; и, проведя анализ данных, исходя из того, что понравилось вашим друзьям, посоветуют, вам конкретный ресторан и определённый фильм!
Может показаться что «большие данные» важны только для больших компаний, но нет, это не так.
Собирая данные об авариях, отказах и простоях оборудования, можно будет заранее предсказать, где произойдёт следующая проблема и принять меры и предупредить ее. Такие предсказания помогут облегчить работу не только главы крупного предприятия, но и работу, например, ремонтной бригады.
Чтобы соприкоснуться с «большими данными», не надо даже ждать будущего. Мы уже сейчас, каждый день сталкиваемся с «большими данными».
Это легко объяснить на примере маркетинга. Допустим, я хочу купить жёлтые ботинки. Захожу на «Яндекс» и вижу рекламу жёлтых ботинок!
Откуда? Итак, «Date Scientist» берет выборку всех покупателей жёлтых ботинок. Все эти люди когда-то оставляли «цифровые следы». Эти «цифровые следы» - это данные, которые накоплены в их истории.
С помощью различных алгоритмов классификации и кластеризации, эти данные накладываются друг на друга, и получается гигантское количество различных пересечений. Их могут быть миллионы, миллиарды, но среди них есть те, которые явно характеризуют искомую аудиторию. Например, все эти люди смотрели клип Жанны Агузаровой «Жёлтые ботинки».
«Dаte Scientist» берет все эти пересечения и на их основе формирует новый профиль. Этот профиль в дальнейшем накладывается на огромные массы людей. Этот механизм получил название «Lookalike» - выбери похожих.
Максимально похожие на этот профиль люди отбираются в новую выборку. Это как раз таки и есть выборка похожих на покупателей жёлтых ботинок.
В ближайшие годы учёным предстоит разобраться с несколькими очень важными проблемами которые появились вместе с появлением «больших данных»:
1.Проблема обработки текучего, изменчивого, стремительного, как горная река, потока данных.
Находить закономерности в огромных массивах данных люди уже умеют. Находить закономерности в постоянно меняющейся базе данных в реальном времени, мы ещё учимся.
Расшифровка генома человека сейчас занимает не больше недели. Гены каждого человека - это огромный объём данных. Предсказывать возможные генетические заболевания мы уже тоже умеем.
Однако геном не изменим - это статичные данные, а вот, например транспортный поток огромного города, включающий информацию с нескольких десятков тысяч камер наблюдения - это динамичные данные.
Научиться работать с ними в реальном времени, например для предотвращения пробок, самая важная задача на ближайшие годы. И над ней сейчас работают лучшие специалисты в мире.
2.Проблема безопасности. Кто и как сейчас использует ваши данные? Может быть для того, чтобы предотвратить преступление? А может быть наоборот, для того чтобы его совершить? И это то же важная проблема.
З.Проблема технологий и человека. Любая технология, и «большие данные» не исключение, это невероятные горизонты и, одновременно, огромные риски. Промышленная революция сделала в свое время ненужными миллионы рабочих мест и десятки профессий.
Цифровая революция лишит работы миллионы офисных работников. Будут ли нужны бухгалтеры, юристы, журналисты через 10, 20, 50 лет?
Технологии действительно уничтожают рабочие места, но они же создают ещё больше новых. Потому, что технологии нужно исследовать, технологии нужно учить взаимодействию между собой. Технологии нужно делать полезными для мира людей.
Но ещё важнее то, чтобы во главе любой технологии, создаваемой человеком, был и оставался он - человек. Казалось бы, столь маленький и беззащитный перед той лавиной необратимых изменений, которые он сам запустил.
Перефразируя Евангелие: «Технологии для человека, а не человек для технологи » .
Люди не станут ненужными!