Многозадачность в Python часто ассоциируется с потоками, но для CPU-задач (тяжелых вычислений) модуль `multiprocessing` становится настоящим спасением. В отличие от потоков, процессы обходят ограничение Global Interpreter Lock (GIL), выполняя код параллельно на разных ядрах процессора. Это делает мультипроцессинг ключевым инструментом для оптимизации производительности.
Почему не потоки? Проблема GIL
В Python потоки выполняются в рамках одного процесса и делят один GIL, что исключает истинный параллелизм для CPU-операций. Например, при обработке изображений или математических расчетах потоки будут работать последовательно. Мультипроцессинг же запускает отдельные процессы с собственными интерпретаторами и памятью, что позволяет задействовать все доступные ядра.
Базовое использование: класс Process
Создание процесса аналогично работе с потоками, но через модуль multiprocessing:
Пояснение:
- Каждый процесс имеет уникальный PID.
- if __name__ == "__main__" обязательно для Windows во избежание ошибок.
- Методы start() и join() работают аналогично потокам.
Обмен данными между процессами
Процессы не разделяют память, поэтому для коммуникации используются специальные объекты:
1. Очереди (Queue)
2. Совместная память (Value, Array)
Важно: Для синхронизации используйте Lock, чтобы избежать состояний гонки.
Пул процессов (Pool)
Класс Pool упрощает распределение задач между несколькими процессами:
Методы map() и apply_async() позволяют параллельно обрабатывать данные.
Синхронизация процессов
Как и в потоках, для защиты общих ресурсов используются примитивы:
Практические примеры
1. Параллельная обработка данных
2. Распределение HTTP-запросов
Преимущества и недостатки
Плюсы:
- Истинный параллелизм для CPU-bound задач.
- Обход GIL.
- Изоляция процессов (сбой в одном не влияет на другие).
Минусы:
- Высокие накладные расходы на создание процессов.
- Сложности с обменом данными (сериализация через pickle).
- Большее потребление памяти.
Лучшие практики
1. Используйте пулы процессов вместо создания множества отдельных `Process`.
2. Оптимальное число процессов — обычно равно числу ядер CPU (os.cpu_count()).
3. Минимизируйте передачу данных между процессами (IPC — дорогая операция).
4. Избегайте глобальных переменных — процессы не разделяют память.
5. Для сложных задач используйте библиотеки вроде multiprocessing.Manager для разделяемых структур данных.
Альтернативы
- Threading: Для I/O-bound задач (сетевая активность, файловые операции).
- Asyncio: Для асинхронного I/O с одним потоком.
- Joblib/Dask: Высокоуровневые инструменты для распределенных вычислений.
Заключение
Мультипроцессинг в Python — это мощный способ ускорить выполнение CPU-задач, обойдя ограничения GIL. Однако его использование требует аккуратности при работе с памятью и данными. Для максимальной эффективности сочетайте его с пулами процессов и минимизацией межпроцессного взаимодействия. В случаях, где важна скорость и изоляция, мультипроцессинг остается незаменимым инструментом.