Найти в Дзене
ClickHouse для скуфов, или как не бояться бигдаты

ClickHouse для скуфов, или как не бояться бигдаты

ClickHouse или когда мало места на диске, как добавить места? Ошибка 210 или не запускается служба?
подборка · 2 материала
105 читали · 1 год назад
ClickHouse или когда мало места на диске, как добавить места? Многодисковое хранилище
ClickHouse или когда мало места на диске, как добавить места? Подключить к нему дополнительные диски без танцев с бубнами. Когда-то clickhouse поддерживал только одно устройство хранения. После версии 19.15 данные можно сохранять на разных устройствах хранения, и их можно автоматически перемещать между разными устройствами. Таким образом, clickhouse может реализовать поэтапное многоуровневое хранилище, то есть холодные и горячие данные разделяются и хранятся на разных типах устройств хранения. В...
1 год назад
Записки системного администратора Столкнулся с проблемой: при подключении к БД ClickHouse получаю ошибку 210. Connecting to localhost:9000 as user default. Code: 210. DB::NetException: Connection refused (localhost:9000). (NETWORK_ERROR). Быстрый поиск в основном выдавал информацию о неправильных настройках и т.п. Но, здесь-то БД рабочая и не один год. Ближайшая полезная информация была по ссылке, но не очень подходила для решения проблемы, а точнее ее не решала. Проблема: прилетел пустой insert. Я начал копать. В итоге в начале было подозрение, что бубунта схватила обновление и config обнулился - переписал в нем раздел listen host на 0.0.0.0 , не помогло. Копаем дальше: стопанул сервис и запустил в ручном режиме sudo -u clickhouse clickhouse-server --config-file=/etc/clickhouse-server/config.xml и что я увидел? Этот самый пустой запрос крашится в error - его упорно в выводе в консоли клик гонит с минуту и затем стопится с еррором. В итоге ищу директорию с этим нулевым запросом - так и есть, все по нулям.  /var/lib/clickhouse/store/4c5/4c5b45a1-ac72-4a97-9c99-451e0de884d0/202307_1694504275_1694504275_0 (size: 0.00 B)  делаю следующее: увеличиваю c 65530 до sysctl -w vm.max_map_count=524288 , sysctl --system далее grep 'ClickHouse init process failed' /var/log/clickhouse-server/clickhouse-server.log не вижу проблем, далее tail -F /var/log/clickhouse-server/clickhouse-server.err.log не вижу проблем, делаю sudo -u clickhouse touch /var/lib/clickhouse/flags/force_restore_data запускаю клик и о чудо - он этот нулевой набор данных сжирает и запускается. Таким образом ошибка 210 по сути говорила о том, что клик запускается, пытается отработать нулевой запрос - он вываливается "типа в битую таблицу базы" и клик перезапускается по кругу вачдогом. Визуально выглядит, как будто эта скотина работает, а ее колбасит. Ну, а увеличение vm.max_map_count дало смерджиться кстати очереди большой, как я понял более эффективно. База в 600 гигов полетела дальше расти и расширяться )