В эпоху, когда глубокое обучение для многих свелось к строчке pip install torch, произошло событие почти антикультурное. На GitHub тихо и без фанфар завершили реализацию всех 30 фундаментальных работ, которые Илья Сутскевер когда-то назвал «90% всего, что реально важно в deep learning». Причём реализовали не на модных фреймворках, а на чистом NumPy — так, как это и должно работать под капотом.
И это, на мой взгляд, куда важнее, чем очередной релиз «модели на триллион параметров».
Что вообще произошло — и почему это редкость
Речь идёт о репозитории
pageman/sutskever-30-implementations,
где каждая из 30 ключевых научных работ:
🧠 реализована вручную
🧠 разобрана построчно
🧠 снабжена визуализациями и пояснениями
🧠 запускается сразу, без датасетов и магии
Это именно те работы, которые Сутскевер рекомендовал Джон Кармак — не как «почитать на досуге», а как инженерный минимум для понимания ИИ.
От RNN и LSTM до Transformers, RAG и scaling laws — весь путь современного ML здесь разложен как на анатомическом столе.
Почему NumPy — это принципиально важно
Самый частый вопрос: зачем писать Transformer без PyTorch?
Ответ неприятный, но честный:
потому что фреймворки слишком хорошо скрывают реальность.
В этих ноутбуках:
⚙️ backpropagation написан вручную
⚙️ attention — это матрицы, а не абстрактный слой
⚙️ residual connections — не «магия ResNet», а обычное сложение
⚙️ scaling laws — не график из статьи, а эксперимент, который можно повторить
Особенно показателен ноутбук с Relational RNN, где только ручной backprop занимает больше тысячи строк. После такого PyTorch перестаёт казаться «чем-то само собой разумеющимся».
Что именно там внутри (и почему это золото)
Проект охватывает сразу несколько уровней понимания ИИ.
Фундамент
🧩 энтропия и рост сложности
🧩 минимальная длина описания (MDL)
🧩 сложность Колмогорова
Архитектуры
🧠 CNN → ResNet → Dilated Convs
🧠 RNN → LSTM → Attention → Transformer
🧠 внешняя память: Neural Turing Machine
Современные идеи
🔍 Dense Retrieval
🔍 Retrieval-Augmented Generation (RAG)
🔍 эффект Lost in the Middle для длинного контекста
Важно другое: все эти идеи показаны как следствие предыдущих, а не как набор модных терминов.
Личное мнение: это антидот от ИИ-хайпа
Мы живём в странное время. С одной стороны — гигантские модели, инвестиции, маркетинг. С другой — всё меньше людей понимают, почему это вообще работает.
Этот репозиторий — редкий случай, когда ИИ:
🔧 снова становится инженерной дисциплиной
🔧 возвращается к математике и алгоритмам
🔧 перестаёт быть «чёрным ящиком»
И что особенно важно — он показывает:
прогресс в ИИ — это не только масштабирование, но и понимание.
Кому это реально нужно
🎓 студентам, которые хотят понять, а не просто сдать курс
🧑💻 инженерам, уставшим от фреймворк-абстракций
🔬 исследователям, которым важно «почему», а не только «что»
🤖 всем, кто подозревает, что за словом intelligence должно быть что-то большее
Если вы когда-либо чувствовали, что современный ML стал слишком «поверхностным» — этот проект возвращает глубину.
Вместо заключения
Я искренне считаю, что pageman/sutskever-30-implementations — это один из самых недооценённых образовательных проектов по ИИ за последние годы. Не потому что он новый или модный, а потому что он честный.
Он не обещает вам AGI.
Он не продаёт магию.
Он просто показывает, как всё работает на самом деле.
И, возможно, именно с таких проектов начинается следующий, более зрелый этап развития искусственного интеллекта.