Соучредитель id Software, инженер и разработчик Джон Кармак заявил, что очень длинные оптоволоконные линии (до 200 км) могут «непрерывно» передавать весовые коэффициенты нейросетей, фактически заменяя оперативную память.
Была продемонстрирована скорость передачи данных 256 Тб/с на расстояние 200 км по одномодовому оптоволокну, что соответствует 32 ГБ данных, «хранящихся» в волокне, при пропускной способности 32 Тб/с. Вывод и обучение нейронных сетей могут иметь детерминированные шаблоны привязки весов, поэтому забавно представить систему без DRAM, где веса непрерывно передаются в кэш L2 по замкнутому оптоволоконному контуру. Современный эквивалент древних ртутных эхо-трубок памяти. Для реализации современных моделей с триллионом параметров потребовалось бы конвейерное развертывание множества таких устройств, но оптоволоконная передача может иметь лучшую траекторию роста, чем DRAM сегодня, поэтому когда-нибудь она может стать жизнеспособной. Гораздо практичнее было бы объединять дешевые флэш-памяти для обеспечения практически любой необходимой пропускной способности чтения, если чтение выполняется постранично и конвейерно. Это должно быть жизнеспособным вариантом для обработки данных при выводе сегодня, если производители флэш-памяти и ускорителей смогут договориться о высокоскоростном интерфейсе.
Джон Кармак
На фоне продолжающегося кризиса оперативной памяти и растущих требований к ИИ поиск таких решений становится актуальным.
