Обучение больших моделей ИИ стало одной из самых больших проблем в современных вычислениях — не только из-за сложности, но и из-за стоимости, энергопотребления и нерационального использования ресурсов. Теперь DeepSeek предлагает подход, который может помочь смягчить некоторые из этих проблем.
Метод, называемый гиперсвязью, ограниченной многообразием (manifold-constrained hyperconnection, mHC), направлен на упрощение и повышение надежности обучения больших моделей искусственного интеллекта . Вместо погони за чистым повышением производительности, идея состоит в снижении нестабильности во время обучения — распространенной проблемы, которая вынуждает компании начинать дорогостоящие циклы обучения с нуля.
Проще говоря, многие продвинутые модели ИИ терпят неудачу в процессе обучения. В таких случаях теряются недели работы, огромные объемы электроэнергии и тысячи часов работы графических процессоров. Подход DeepSeek направлен на предотвращение этих сбоев за счет повышения предсказуемости поведения модели, даже по мере ее увеличения в размерах.
Это важно, потому что сегодня обучение ИИ потребляет огромное количество энергии. Хотя mHC не снижает энергопотребление самих графических процессоров, он может уменьшить потери энергии, помогая моделям завершать обучение без сбоев или необходимости многократных перезапусков.
Еще одно преимущество — эффективность в масштабе. Когда обучение становится более стабильным, компаниям не нужно так сильно полагаться на методы «грубой силы» — например, на увеличение количества графических процессоров, памяти или продолжительности обучения для решения задачи. Это может снизить общее энергопотребление на протяжении всего процесса обучения.