Long Short-Term Memory (LSTM) - улучшенная версия рекуррентной сети (RNN)

LSTM (Long Short-Term Memory, долгая краткосрочная память) — это улучшенная версия рекуррентной сети (RNN), созданная, чтобы помнить важное надолго и забывать ненужное.

Главный принцип LSTM — три регулирующих вентиля, которые управляют потоком информации:

1. Вентиль забывания решает, какую часть прошлых данных удалить из памяти. Если информация устарела — он её стирает.

2. Входной вентиль решает, что нового из текущего входа запомнить и записать в долговременную память.

3. Выходной вентиль решает, что из всей накопленной памяти использовать для ответа на этом шаге.

Аналогия: Представьте рабочего за конвейером. У него есть блокнот (долговременная память). Вентиль забывания — он вырывает устаревшие записи. Входной вентиль — решает, записать ли новую инструкцию. Выходной вентиль — решает, на какую запись в блокноте посмотреть, чтобы выполнить текущее действие.

В отличие от простой RNN, которая быстро "забывает" начало длинной последовательности, LSTM удерживает важный контекст через десятки и сотни шагов. Именно поэтому LSTM эффективна для анализа длинных текстов, распознавания речи, предсказания курсов акций и перевода, где связь между словами может быть очень удалённой.