948 читали · 4 года назад
Сказ о том, как я 11 таблиц в ClickHouse джойнил
Сразу разочарую тех, кто пришел посмотреть, как ClickHouse "магически" разруливает распределенные таблицы, борется с огромными объемами данных и за миллисекунды выдает ответ. Да и таблиц будет не 11, а всего 2 (просто join'ов - 11). К сожалению (к счастью), у меня размер данных небольшой, кликхаус всего один и он в докере. Так что здесь я просто буду писать обычный SQL-запрос, просто большой. Задача Опишу, что я хотел сделать. У меня pet-проект alltid-like, собирающий статистку для Hattrick (футбольный менеджер)...
497 читали · 3 года назад
Обновление данных в таблицах ClickHouse
Немножко о ClickHouse, который не тормозит, о том как мы работаем с ClickHouse, и чутка об SRE и чутка о цифровом следе вашей активности. ClickHouse - это самая быстрая MPP СУБД, которую я на сегодня встречал за 15 лет работы в условиях, когда нужно делать расчеты с использованием больших массивов данных на лету. Ее разработал Yandex для своих нужд, в первую очередь под те кейсы, которые я укажу далее по тексту. Со временем Яндекс поделился ею с миром на безвозмездной основе. А позднее вывел ее в отдельную организацию, зарегистрированную кажись в Голландии. Платформа оказалось настолько хороша, что ее стали применять повсеместно, от Alibaba до FAANG...