Найти в Дзене

Log Disk Exhaustion в vCenter 7

vCenter 7 показывает ошибку: Log Disk Exhaustion on vcenter. Данная ошибка сопровождается предупреждениями от запущенных служб, например: PostgreSQL Service Health Alarm. Полечим.

-2

Более подробной информации об ошибке в vCenter не отображается. Из названия понятно, что ошибка связана с нехваткой места на диске для логов.

-3

Если зайти в vCenter Server Management интерфейс VAMI, то можно узнать немного подробностей:

File system /storage/log is low on storage space. Increase the size of disk /storage/log.

Виден путь к директории, где нет места: /storage/log.

-4

Примечательно, что в vCenter отображаются не все ошибки служб. Перейдём в раздел Services.

-5

Служба VMware Postgres сообщает об ошибке:

Filesystem holding service vmware-vpostgres error logs is running low on available space.
-6

Служба VMware vTSDB Service тоже сообщает об ошибке:

Filesystem holding service vtsdb error logs is running low on available space.

Это служба Timescale DB, которая тесно связана с PostgreSQL.

Причина ошибки ясна, будем разбираться куда подевалось место в /storage/log. Включаем на vCenter SSH.

-7

Коннектимся к vCenter по SSH под пользователем root.

-8

Работаем под рутом, для этого используем команду:

shell

Посмотрим на диски:

df -h
-9

Видим что в /storage/log место утилизировано на 100%. Вычисляем самую толстую директорию:

du -h --max-depth=1
-10

Или:

du -a /storage/log | sort -n -r | head -n 20
-11

Файл /storage/log/vmware/vmware-sps/sps-runtime.log.stderr занял почти всё место на диске.

-12

Посмотрим что внутри:

tail -n 1000 /storage/log/vmware/vmware-sps/sps-runtime.log.stderr
-13

Внутри всё место забито ошибкой:

org.bouncycastle.jsse.provider.ProvTlsClient notifyAlertRaised
INFO: Client raised fatal(2) certificate_unknown(46) alert: Failed to read record
org.bouncycastle.tls.TlsFatalAlert: certificate_unknown(46)

vCenter не доверяет сертификатам некоторых гипервизоров. Это может быть связано с параметром vpxd.certmgmt.mode. Можно установить его значение в vmca, тогда сертификатами хостов будет рулить vCenter. Собственно, это и так значение по умолчанию, но вы могли это значение изменить и управлять сертификатами хостов вручную. Тогда вам нужно разбираться с сертификатами самим.

У меня проблема была связана с тем, что в vCenter был подключен гипервизор от другого vCenter. Естественно, сертификат не распознавался.

-14

Мы немного отвлеклись от темы. Освободим место, почистив файл:

cat /dev/null > /storage/log/vmware/vmware-sps/sps-runtime.log.stderr
-15

Место освободилось.

Следует помнить, что файл /storage/log/vmware/vmware-sps/sps-runtime.log.stderr будет продолжать расти, пока вы не устраните причину ошибки.

Источник:
https://internet-lab.ru/vcenter_log_disk_exhaustion

💰 Поддержать проект

Если вам понравилась статья, то ставьте 👍🏻 каналу.
Пишите комментарии, задавайте вопросы, подписывайтесь.