Медленное интернет-подключение может вывести из себя любого, но только представьте, что «испытывают» суперкомпьютеры, для которых в настоящее время даже самое современное сетевое оборудование не может обеспечить необходимый поток данных.
Десятки тысяч процессоров и ядер выполняют практически мгновенную обработку любой информации, но, в итоге, высокопроизводительные системы вынуждены простаивать, ожидая обмена данными по морально устаревшим сетевым интерфейсам.
Управление перспективных исследовательских проектов Министерства обороны США (DARPA), кажется, эта ситуация больше не устраивает, поэтому оно запускает программу под названием FastNICs нацеленную на создание нового стека сетевых технологий, который будет в 100 раз быстрее старого.
По оценке DARPA, современные многопроцессорные сервера, сервера с GPU и аналогичные вычислительные узлы совместными усилиями могут работать с потоком данных примерно 1014 бит в секунду (100 Тбит/с). Примерно такую же агрегированную пропускную способность могут обеспечить современные высокоплотные коммутаторы верхнего уровня. Но при этом связующий их сетевой стек, как правило, в 100-1000 раз медленнее.
«Истинным узким местом для пропускной способности процессора является сетевой интерфейс, используемый для подключения машины к внешней сети, такой как Ethernet, что серьезно ограничивает возможности загрузки данных», — объясняет др. Джонатан Смит (Dr Jonathan Smith), менеджер программ в Информационном инновационном офисе DARPA.
Для решения данной проблемы агентство запускает программу Fast Network Interface Cards (FastNIC). Задачей программы будет повысить производительность сетевого стека в 100 раз за счёт принципиально иных подходов. Причём для получения такого значительного прироста производительности потребуется переделка всего стека — от уровня прикладных и системных приложений до аппаратного обеспечения.
«Создание сетевого стека сопряжено с большими затратами и сложностями», — указывает Смит. «Начинается оно с аппаратного обеспечения: если вы не сможете сделать его правильно, то вы застрянете. Программное обеспечение просто не может выполнять задачи быстрее, чем позволяет физический уровень, поэтому сначала нам нужно изменить именно его».
Одновременно исследователи займутся разработкой системного программного обеспечения, необходимого для управления аппаратными ресурсами FastNIC. Для достижения 100-кратного увеличения пропускной способности на уровне приложений программное обеспечение должно будет поддерживать максимально эффективную параллельную передачу данных между сетевым оборудованием и другими элементами системы.
Агентство указывает на то, что все разработанные в рамках программы инструменты и библиотеки будут предоставлены сообществу в виде открытого исходного кода, а также будут совместимы минимум с одной из открытых операционных систем.
Прежде всего DARPA заинтересована в новых технологиях для ускорения задач машинного обучения, в том числе распознавания образов при работе со множеством датчиков, например, установленных на беспилотных летательных аппаратах.
К участию в программе приглашаются все заинтересованные организации, которые имеют теоретические наработки по созданию сетей работающих на 10-терабитных скоростях, чтобы продемонстрировать эффективность своего решения на примере одного из выбранных агентством прикладных приложений.
Временные ограничения на данный момент не установлены, но, как и обычно, DARPA гарантирует финансовую поддержку и вознаграждения всем участникам проекта. Подробнее о программе на английском языке вы можете прочитать здесь. Напомним, что ранее DARPA анонсировала проект PAPPA, нацеленный на создание нового стека технологий для высокопараллельного ПО с целью ускорения выполнения ряда задач в 10 000 раз.
