Рик Клукас связывает уроки, извлеченные при разработке гибких процессоров в 90-х, с ключевой проблемой современных систем искусственного интеллекта: удушающим узким местом в передаче данных. Он утверждает, что будущее эффективных вычислений лежит не только в создании более мощных процессоров (вроде NPU/TPU), но и в коренном изменении подхода к форматам данных, чтобы «кормить» эти ускорители только нужной информацией, избегая бесполезной работы.
Быстрый процессор бесполезен, если его не успевают «накормить» данными. Эта проблема, осознанная при разработке первых специализированных процессоров ARC и SuperFX для Nintendo, сегодня стала главным тормозом для систем ИИ, особенно в области компьютерного зрения и видеоаналитики.
Прошлое: Уроки ARC и SuperFX
Автор, будучи сооснователем ARC, объясняет, что их целью было создать не просто процессор, а гибкую архитектуру. Они позволяли разработчикам микросхем комбинировать аппаратные блоки для специфических задач с программными RISC-ядрами, что экономило площадь кристалла, энергию и стоимость. Это был ранний предок современных «специализированных процессоров» (ASP). Этот опыт вырос из работы над чипом SuperFX (дополнительный процессор для картриджей Super Nintendo), который был 3D-ускорителем до появления термина «GPU». Тогда главной задачей было максимально дешево и эффективно обрабатывать 3D-графику в условиях очень медленной внешней памяти. Решением стало добавление специальных инструкций в RISC-ядро для ускорения операций с пикселями.
Настоящее: Проблема современных систем ИИ
Сегодня, в эпоху ИИ, та же проблема проявилась с новой силой. Мощные ускорители (NPU, TPU) часто простаивают из-за медленной подачи данных. Типичный конвейер видеоаналитики выглядит неэффективно:
1. Декодируется весь кадр видео высокого разрешения.
2. Он масштабируется и конвертируется.
3. На уменьшенной копии запускается AI-инференс (распознавание объектов и т.д.).
Парадокс: Большинство декодированных пикселей сразу же отбрасываются после масштабирования. Но энергия и время на их загрузку из памяти, полное декодирование и обработку уже потрачены. Узкое место смещается с вычислений на загрузку и подготовку данных.
Будущее: Решение – «Вычислительно-осознанные» форматы (Compute-Aware Formats)
Выход есть в изменении самого формата визуальных данных. Вместо монолитных файлов (JPEG, H.264), которые нужно всегда декодировать целиком, нужны иерархические форматы. Они позволяют:
- Сразу начать декодирование с того уровня детализации, который нужен ИИ-модели (например, с низкого разрешения).
- Выборочно «подгружать» дополнительные детали только для тех областей кадра, где это необходимо (например, где обнаружен объект).
- Фактически превращать данные в API, к которым можно делать запросы на нужное разрешение или область интереса.
Компания V-Nova работают над такими стандартами, как SMPTE VC-6 и MPEG-5 LCEVC. Их использование в тестах показывало многократный рост пропускной способности видеоаналитики, так как снимались узкие места на этапе декодирования. Это дополняет аппаратные инвестиции компаний вроде Nvidia (в улучшение межсоединений), так как уменьшает объем ненужных данных, которые нужно перемещать.
Вывод
2026 год может стать переломным, когда индустрия осознает, что для раскрытия потенциала мощных ускорителей ИИ критически важно реорганизовать сами данные, сделав их «вычислительно-осознанными».
Ссылка на первоисточник: https://www.eetimes.com/passing-the-torch-reflections-on-arcs-journey-and-the-future-of-specialized-processing/
Вас также могут заинтересовать: