В июле 2025 года на arXiv появилась работа Питера Ковини и Сауро Су́ччи — “The wall confronting large language models”. Авторы утверждают: законы масштабирования ставят почти непреодолимую стену на пути развития больших языковых моделей (LLM).
🧱 Суть «стены»
Математика здесь беспощадна:
- 📉 Экспоненты масштабирования LLM очень малы (около 0.1). Это значит, что для уменьшения ошибки в 10 раз нужно увеличить ресурсы в 10 миллиардов раз.
- ⚡ Энергетическая цена растёт астрономически: для улучшения точности всего на порядок потребуются мощности уровня 10²⁰.
- 🔮 Вместо стабильного роста точности мы получаем «плато», за которым усилия лишь накапливают шум, ошибки и ложные корреляции.
Проще говоря, нынешняя гонка за триллионами параметров напоминает бег на месте — дороже, громче, но не ближе к цели.
🌪 Почему модели «деградируют»
Ключевая мысль авторов — сама сила LLM таит угрозу:
- 🌀 Трансформеры превращают гауссовские входы в негауссовские выходы. Это даёт способность к обучению, но одновременно усиливает ошибки и вытягивает «толстые хвосты» распределений.
- 🧩 Спуриозные корреляции (ложные зависимости), о которых писали Калуде и Лонго, растут экспоненциально просто от размера датасета. Чем больше данных — тем больше «шума», который маскируется под закономерность.
- ⚠️ Результат — накопление ошибок, информационные катастрофы и путь к деградации (Degenerative AI): модели, которые с каждым циклом самотренировки становятся хуже.
🔬 Почему это важно для науки
Научные задачи требуют не просто «похожего ответа», а надёжности и воспроизводимости. LLM же выдают правдоподобные тексты, но не гарантируют истинность. Авторы отмечают:
- 🧪 В математике и физике даже малые ошибки недопустимы.
- 🧬 Пример AlphaFold показывает, что ИИ может быть мощным инструментом-гипотезатором, но не заменой эксперименту.
- 📊 Валидность LLM падает при переходе на данные, которые не встречались в тренировке.
💡 Моё мнение
На мой взгляд, эта статья — важный «холодный душ» для индустрии. Вокруг AGI и LLM давно витает аура всесилия: модели уже пишут код, сдают экзамены, общаются как люди. Но реальная математика напоминает: рост параметров не равен росту интеллекта.
Что же делать?
- 🧭 Ставить во главу угла понимание структуры задач. Не brute-force, а поиск симметрий, инвариантов и фундаментальных принципов.
- 🛠 Развивать physics-informed AI — модели, которые уважают физические законы и встроенные ограничения.
- 🤝 Комбинировать ИИ и классическую науку: пусть модели «галлюцинируют гипотезы», а проверку оставим строгим методам.
🏁 Итог
Стена масштабирования — это не приговор, а предупреждение: бесконечное наращивание LLM приведёт к информационным катастрофам. Чтобы ИИ стал полезным для науки, он должен перестать быть «черным ящиком» и начать работать в связке с пониманием природы задач.
🔗 Оригинал: The wall confronting large language models (arXiv:2507.19703)