Рекурентные и свёрточные нейронные сети

Рекуррентные нейронные сети (RNN) — это тип искусственных нейронных сетей, способных обрабатывать последовательности данных. Они "помнят" предыдущие шаги в последовательности и используют эту информацию для текущего выхода. Хороши для задач, где контекст имеет значение, например, в анализе текста или временных рядов.

Бывают следующие виды рекуррентных сетей:

1. Vanilla RNN: Простая рекуррентная сеть, страдает от проблемы исчезающего градиента. Хороша для коротких последовательностей.
2. LSTM (Long Short-Term Memory): Улучшает работу с долгосрочными зависимостями, имеет три ворота (забывания, входа, выхода).
3. GRU (Gated Recurrent Unit): Упрощённый LSTM с меньшим количеством параметров и двумя воротами (обновления, сброса).
4. Bidirectional RNN: Проходит по данным в обоих направлениях, улучшая распознавание контекста.
5. Attention Mechanisms: Не тип RNN, но часто используется с ними. Позволяет модели фокусироваться на определённых частях последовательности.
6. Echo State Networks (ESN): Используют резервуар с фиксированными весами для быстрого обучения.
7. Seq2Seq: Состоит из двух RNN, одна для чтения входной последовательности, другая для вывода. Часто используется в машинном переводе.

Сравним два популярных вида нейронных сетей LSTM и GRU

LSTM (Long Short-Term Memory) — это тип рекуррентной нейронной сети, который лучше "помнит" информацию на длинных последовательностях данных. В LSTM есть "ворота", которые решают, какую информацию сохранить или забыть. Это делает их хорошим выбором для задач, где долгосрочный контекст важен, например, в машинном переводе или распознавании речи.

GRU (Gated Recurrent Unit) — это упрощённая версия LSTM. Она тоже проектирована для работы с последовательностями данных и "помнит" предыдущую информацию. У GRU меньше "ворот" и параметров, поэтому она быстрее, но может быть менее точной в некоторых задачах. Она хорошо подходит для задач, где нужна скорость и не требуется сложный долгосрочный контекст.

LSTM (Long Short-Term Memory) и GRU (Gated Recurrent Unit) — это варианты RNN, об designed to mitigate the vanishing gradient problem. Основные различия:

1. Компоненты: LSTM имеет 3 "ворота" (забывания, входа, выхода), GRU — 2 (обновления, сброса).
2. Память: LSTM использует отдельные ячейки памяти, GRU — нет.
3. Параметры: LSTM имеет больше параметров, что может улучшить точность, но увеличить время обучения и риск переобучения.
4. Вычислительная сложность: GRU быстрее, но может быть менее точным в некоторых задачах.

Оба подхода хороши для обработки последовательностей, выбор зависит от конкретной задачи.

Свёрточные нейронные сети (CNN) оптимизированы для анализа визуальных данных, таких как изображения. Они используют "свёртки" для автоматического выделения признаков.

В контексте CNN, "свёртка" — это математическая операция, при которой фильтр (небольшая матрица) двигается по исходному изображению. То есть грубо говоря берутся соседние пиксели. Результаты этого прохода суммируются, формируя новое изображение (карту признаков), которое выделяет определённые характеристики, например, края или текстуры. Это позволяет автоматически извлекать важные признаки для дальнейшей классификации или анализа.

Отличия от RNN:

1. Задачи: CNN хороши для анализа изображений, RNN — для последовательностей.
2. Память: RNN "помнят" предыдущие шаги, CNN — нет.
3. Структура: CNN имеют слои для свёртки и пулинга, RNN — рекуррентные слои.
4. Вычислительная сложность: CNN часто требуют больше ресурсов для обработки одного шага, но могут быть эффективно параллелизованы.

Бывают следующие виды свёрточных сетей:

1. LeNet: Один из первых CNN, используется для распознавания рукописных символов.
2. AlexNet: Глубокая сеть, которая значительно улучшила распознавание изображений, выиграла соревнование ImageNet в 2012 году.
3. VGG: Использует множество 3x3 свёрток для углубления архитектуры, хороша для анализа изображений.
4. GoogLeNet/Inception: Имеет модули "Inception", комбинирующие свёртки разных размеров для лучшего выделения признаков.
5. ResNet: Использует "остаточные соединения" для обучения очень глубоких сетей, решает проблему исчезающего градиента.
6. DenseNet: Каждый слой получает на вход все предыдущие выходы, улучшает эффективность градиентного обучения.
7. MobileNet: Оптимизирована для мобильных устройств, использует "depthwise separable convolutions" для уменьшения количества параметров.
8. U-Net: Применяется в медицинской обработке изображений, имеет симметричную структуру для кодирования и декодирования.
9. SqueezeNet: Минимизирует количество параметров, сохраняя при этом точность.
10. EfficientNet: Скейлинг всех измерений (ширины, глубины, разрешения) для эффективного обучения.