VMSTAT : признаки конкуренции за ресурсы CPU

Иногда процессоров на всех не хватает

Вопрос

какие признаки конкуренции за ресурсы CPU можно определить анализируя результаты vmstat ?

Ответ

Вот основные признаки конкуренции за CPU, на которые нужно обращать внимание в выводе vmstat:

1. Длина очереди исполнения (procs -> r)

Это самый прямой и важный показатель.

• Столбец: r (первый столбец в разделе "procs")
• Что показывает: Количество процессов, которые находятся в состоянии "R" (Runnable) и готовы к выполнению прямо сейчас, но ожидают своей очереди на CPU.
• Признак проблемы: Если значение r постоянно превышает количество CPU-ядер в системе, это четкий сигнал о том, что процессы конкурируют за процессорное время. Они выстраиваются в очередь, и планировщику приходится их переключать.
  Пример: Если у вас 4-ядерный CPU, а значение r стабильно держится на 6, 8 или выше — у вас серьезная конкуренция за CPU.

2. Частота переключений контекста (system -> cs)

• Столбец: cs (context switches per second)
• Что показывает: Сколько раз в секунду ядро Linux переключалось между выполнением различных процессов/потоков.
• Признак проблемы: Очень высокое значение cs (например, десятки или сотни тысяч в секунду) указывает на интенсивную работу планировщика. Это часто происходит из-за:
  Слишком большого количества активных процессов.
  Неправильно настроенного приложения, порождающего много потоков.
  Активного использования системных механизмов межпроцессного взаимодействия (IPC).
  Высокое cs само по себе не всегда плохо (например, для сетевых серверов это нормально), но в сочетании с высокой нагрузкой и длинной очередью (r) оно подтверждает конкуренцию и указывает на её возможную причину — слишком частые переключения.

3. Процент времени, проводимого в ядре (cpu -> sy)

• Столбец: sy (system time)
• Что показывает: Процент времени CPU, затраченного на выполнение кодом ядра (системные вызовы, обработка прерываний, планирование задач и т.д.).
• Признак проблемы: Высокий или растущий sy (например, стабильно больше 30-40%) в сочетании с другими признаками говорит о том, что значительная часть ресурсов CPU тратится не на полезную работу приложений (user time), а на "организационные расходы":
  Обработку большого количества системных вызовов.
  Работу планировщика по переключению контекста (что связано с высоким cs).
  Обработку сетевого стека или дискового I/O.
  Если ваше приложение не должно активно работать с ядром (например, это не СУБД или сетевой сервер), высокий sy — это повод для расследования.

Пример

Анализ:

1. Очередь (r): Значения 8, 12, 10 — очень высоки. Если в системе меньше 8 ядер CPU (а скорее всего, их 2 или 4), это явный признак конкуренции.
2. Переключения контекста (cs): Значения 250, 1200, 1350 в секунду. Рост с 250 до 1350 показывает, что нагрузка провоцирует всё больше переключений.
3. Время в ядре (sy): Значения 60%, 65%, 70% — аномально высоки. CPU большую часть времени работает в режиме ядра, а не пользователя.
4. Время простоя (id): Всего 10% — CPU простаивает очень мало.

Вывод: Система испытывает сильнейшую конкуренцию за ресурсы CPU. Процессы выстраиваются в длинную очередь, из-за чего ядро вынуждено делать много переключений контекста (cs), что, в свою очередь, приводит к высокому времени работы в режиме ядра (sy). Полезная работа приложений (us) страдает.

Продолжение