Джон Кармак предлагает использовать оптоволокно в качестве L2-кэша для потоковой передачи данных ИИ. — tomshardware.com
Любой может создать аккаунт в X и высказать свое мнение, но не все мнения стоят того, чтобы к ним прислушиваться. Однако, когда пишет Джон Кармак, люди склонны слушать. Его последние размышления касаются использования протяженного оптоволоконного контура в качестве своеобразного L2-кэша для хранения весов моделей ИИ с практически нулевой задержкой и гигантской пропускной способностью.
Кармак пришел к этой идее, размышляя о том, что скорости одномодового волокна достигли 256 Тбит/с на расстоянии 200 км. По грубым подсчетам, основанным на опыте работы с Doom, в каждом оптоволоконном кабеле в любой момент времени находится 32 ГБ данных.
Веса моделей ИИ могут считываться последовательно для инференса и почти так же для обучения. Следующим логическим шагом Кармака, таким образом, является использование оптоволоконного контура в качестве кэша данных, чтобы постоянно снабжать ИИ-ускоритель. Просто представьте обычную ОЗУ как буфер между SSD и процессором данных и подумайте, как его улучшить или вовсе устранить.
Обсуждение породило значительное количество ответов, многие от людей с высоким уровнем оплаты труда. Несколько человек отметили, что сама концепция схожа с линией задержки, уходящей корнями в середину прошлого века, когда ртуть использовалась в качестве носителя, а звуковые волны — данных. Однако ртуть оказалась сложной в работе, и сам Алан Тьюринг предлагал использовать смесь джина в качестве носителя.
Основным практическим преимуществом использования оптоволоконной линии будет экономия энергии, поскольку для поддержания работы DRAM требуется значительное количество энергии, в то время как управление светом требует очень мало. К тому же, свет предсказуем и с ним легко работать. Кармак отмечает, что “оптоволоконная передача может иметь лучшую траекторию роста, чем DRAM”, но даже без учета простой логистики, 200 км оптоволокна, вероятно, все равно будут довольно дорогими.
Некоторые комментаторы отметили другие ограничения, помимо того, что предложение Кармака потребует много оптоволокна. Оптические усилители и DSP могут свести на нет экономию энергии, а цены на DRAM в какой-то момент все равно должны снизиться. Некоторые, как Илон Маск, даже предложили использовать вакуум в качестве носителя (космические лазеры!), хотя практичность такого дизайна была бы сомнительной.
Твит Кармака намекал на более практичный подход с использованием существующих чипов флэш-памяти, соединяя их достаточное количество напрямую с ускорителями, с тщательным учетом синхронизации. Это, естественно, потребует стандартного интерфейса, согласованного производителями флэш-памяти и ИИ-ускорителей, но учитывая безумные инвестиции в ИИ, такая перспектива не кажется совсем уж нереалистичной.
Вариации этой идеи уже были исследованы несколькими группами ученых. Подходы включают Behemoth (2021), FlashGNN и FlashNeuron (2021), а также более новую Augmented Memory Grid. Нетрудно представить, что один или несколько из этих проектов будут реализованы, если они еще не реализованы.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Bruno Ferreira