Найти в Дзене
105 подписчиков

Записки системного администратора


Столкнулся с проблемой: при подключении к БД ClickHouse получаю ошибку 210.
Connecting to localhost:9000 as user default.
Code: 210. DB::NetException: Connection refused (localhost:9000). (NETWORK_ERROR).
Быстрый поиск в основном выдавал информацию о неправильных настройках и т.п. Но, здесь-то БД рабочая и не один год. Ближайшая полезная информация была по ссылке, но не очень подходила для решения проблемы, а точнее ее не решала.
Проблема: прилетел пустой insert.
Я начал копать. В итоге в начале было подозрение, что бубунта схватила обновление и config обнулился - переписал в нем раздел listen host на 0.0.0.0 , не помогло.
Копаем дальше: стопанул сервис и запустил в ручном режиме sudo -u clickhouse clickhouse-server --config-file=/etc/clickhouse-server/config.xml
и что я увидел? Этот самый пустой запрос крашится в error - его упорно в выводе в консоли клик гонит с минуту и затем стопится с еррором.
В итоге ищу директорию с этим нулевым запросом - так и есть, все по нулям.
 /var/lib/clickhouse/store/4c5/4c5b45a1-ac72-4a97-9c99-451e0de884d0/202307_1694504275_1694504275_0 (size: 0.00 B)
 делаю следующее: увеличиваю c 65530 до
sysctl -w vm.max_map_count=524288 , sysctl --system
далее grep 'ClickHouse init process failed' /var/log/clickhouse-server/clickhouse-server.log
не вижу проблем, далее
tail -F /var/log/clickhouse-server/clickhouse-server.err.log
не вижу проблем, делаю
sudo -u clickhouse touch /var/lib/clickhouse/flags/force_restore_data
запускаю клик и о чудо - он этот нулевой набор данных сжирает и запускается.
Таким образом ошибка 210 по сути говорила о том, что клик запускается, пытается отработать нулевой запрос - он вываливается "типа в битую таблицу базы" и клик перезапускается по кругу вачдогом. Визуально выглядит, как будто эта скотина работает, а ее колбасит.
Ну, а увеличение vm.max_map_count дало смерджиться кстати очереди большой, как я понял более эффективно. База в 600 гигов полетела дальше расти и расширяться )
1 минута