⚡️ Андрей Карпаты выложил минимальный репозиторий Autoresearch - систему, где AI сам проводит исследования.
Это упрощённая версия ядра обучения LLM из nanoGPT/nanochat:
весь код обучения помещается в один файл (~630 строк) и работает на одной GPU.
Как это устроено:
- человек редактирует prompt (.md)
- AI-агент автоматически меняет training code (.py)
Дальше начинается цикл автономных экспериментов.
Каждая точка на графике — полный запуск обучения LLM (~5 минут).
AI-агент работает в бесконечном цикле:
- создаёт git-ветку
- меняет архитектуру модели
- подбирает optimizer
- оптимизирует гиперпараметры
- запускает обучение
- коммитит улучшения
Если validation loss становится ниже, изменение сохраняется.
Фактически агент сам оптимизирует собственный код обучения и постепенно улучшает модель.
Можно запускать несколько агентов с разными промптами и сравнивать, кто быстрее двигает исследование.
Карпаты шутит, что раньше AI-исследования делали люди между:
- едой
- сном
- митингами
Теперь же исследования могут выполнять рои автономных AI-агентов, которые бесконечно гоняют эксперименты на кластерах.
GitHub: github.com/karpathy/autoresearch
