Найти в Дзене
Нейрозона сегодня

Кармак предложил оптоволокно вместо DRAM для ИИ

Создатель Doom и основатель ИИ-стартапа Keen Technologies Джон Кармак предложил инновационную альтернативу DRAM для ускорения инференса нейросетей. Его идея заключается в хранении весов модели не в традиционных микросхемах памяти, а в оптоволоконной петле, где данные передаются в виде световых импульсов. Кармак подсчитал, что современные скорости передачи данных по оптоволокну (до 256 Тб/с на расстоянии 200 км) позволяют обеспечить 32 ГБ данных в непрерывном потоке с пропускной способностью 32 ТБ/с. Ключевым преимуществом является детерминированность паттернов обращения к весам при инференсе, что позволяет непрерывно подавать данные из оптоволоконного кольца прямо в кэш L2 процессора, исключая необходимость использования DRAM. Несмотря на то, что для современных моделей с триллионом параметров потребуется множество таких петель, Кармак уверен, что пропускная способность оптоволокна будет расти быстрее, чем у DRAM, делая этот подход перспективным в будущем. В качестве более реалистичной

Создатель Doom и основатель ИИ-стартапа Keen Technologies Джон Кармак предложил инновационную альтернативу DRAM для ускорения инференса нейросетей. Его идея заключается в хранении весов модели не в традиционных микросхемах памяти, а в оптоволоконной петле, где данные передаются в виде световых импульсов.

Кармак подсчитал, что современные скорости передачи данных по оптоволокну (до 256 Тб/с на расстоянии 200 км) позволяют обеспечить 32 ГБ данных в непрерывном потоке с пропускной способностью 32 ТБ/с. Ключевым преимуществом является детерминированность паттернов обращения к весам при инференсе, что позволяет непрерывно подавать данные из оптоволоконного кольца прямо в кэш L2 процессора, исключая необходимость использования DRAM.

Несмотря на то, что для современных моделей с триллионом параметров потребуется множество таких петель, Кармак уверен, что пропускная способность оптоволокна будет расти быстрее, чем у DRAM, делая этот подход перспективным в будущем. В качестве более реалистичной альтернативы он рассматривает объединение множества недорогих чипов флеш-памяти с высокоскоростным интерфейсом.

На фоне дефицита и роста цен на HBM-память, используемую в ИИ-ускорителях NVIDIA, поиск альтернативных решений для памяти становится особенно актуальным.

В общем, очередная гениальная идея от Джона Кармака, которая, вероятно, так и останется на уровне интересных размышлений, пока кто-нибудь не решит потратить на неё миллиарды долларов. А пока будем довольствоваться тем, что у нас есть.