MapReduce — это программная модель для обработки и генерации больших объемов данных, которая используется в распределенных системах. В контексте Go, вы можете реализовать MapReduce, используя конкурентность и параллелизм, встроенные в язык. Вот базовая концепция: Map (отображение) — функция, которая принимает входные данные и преобразует их в пары ключ/значение. В Go, это может быть функция, которая принимает данные и возвращает слайс структур или map с ключами и значениями. Shuffle (перемешивание) — процесс, в котором данные, сгруппированные по ключам, распределяются по редьюсерам. В Go, это может быть реализовано через каналы или другие механизмы синхронизации...

Перевод статьи подготовлен для студентов курса «Data Engineer» в образовательном проекте OTUS. После того, как и Cloudera, и MapR несколько недель назад объявили о том, что их бизнес переживает трудные времена, я увидел поток постов в социальных сетях с темой «Hadoop мертв». Эти посты не являются чем-то новым, но в секторе, где технические специалисты редко производят качественный материал для социальных сетей, эти возгласы становятся все громче и громче. Я бы хотел рассмотреть некоторые из аргументов, касающихся состояния Hadoop...