Ограничение сверху
Для того, чтобы сегодня развивать ИИ-модели: и генеративные, и навигационные, и многие другие — нужны деньги (большие или очень большие) и технологии (продвинутые, а лучше самый топ).
Подпишитесь на канал "Жизнь Дурова: ЗОЖ, деньги, ИТ" - все самое главное о здоровье, технологиях и деньгах
Как решались эти проблемы до введения санкций против РФ?
Крупная компания: Яндекс или Сбер — брала свои деньги и покупала все необходимые для суперкомпьютера элементы: графические ускорители (GPU) и процессоры у Nvidia или Intel, технологию коммутации Infiniband или Ethernet, диски, корпуса, системы охлаждения и прочие мелочи (которые на самом-то деле совсем не мелочи, а тонко подстроенные и отлаженные системы и элементы) и собирала машину.
Ставила на неё свою архитектуру (так поступал Яндекс) или брала американскую (как Сбер). Получалась работающая машина. Если мощности не хватало, можно было её дополнительно абонировать на дата-центрах Google или на Azure Microsoft. Например, машина Сбера «Кристофари» использовала шлюз для подключения к Azure. Если деньги на покупку 10 тысяч (или больше) графических ускорителей Nvidia были, никаких проблем не было. Всё поставят, всё отладят, ещё и спасибо скажут.
Развивать собственную элементную базу, строить свои графические ускорители никто всерьёз не собирался. Отставание РФ в этой области огромно и преодолеть его сегодня нереально, несмотря на периодически возникающие разговоры о необходимости строительства процессорных фабрик.
Есть такой «закон Мура»: каждое поколение процессоров не только удваивает вычислительную мощность (по классике), но и удваивает стоимость фабрики. Стоит такая фабрика десятки миллиардов долларов, и чтобы вложения окупились, необходимо продать очень много процессоров, то есть выйти на международные рынки.
Внутренний рынок (даже такой немаленький, как РФ) этих вложений не окупит. На внешних рынках, несмотря на процессорный голод, всё довольно жестко поделено. Нужно рисковать и выигрыш не гарантирован.
Кроме того, сегодня нет передовых процессоров, которые делает одна отдельная взятая страна. Например, нидерландская ASML производит установки для фотолитографии, но процессоры делает TSMC на Тайване. Все это многомиллиардные технологии. Поэтому никто и не думал развивать в России собственное процессорное производство.
Первая реакция на санкции против РФ после 24 февраля была шоковая. Оказалось, что чуть ли не все цепочки поставок чипов оборвались, что все более или менее современные отечественные процессоры вроде «Байкала» делаются всё равно на Тайване.
Но шок прошёл, и постепенно наладился «серый» импорт. Простые процессоры производятся в мире миллиардами. Остановить их импорт в РФ оказалось нереально.
Мелкие оптовые фирмы-однодневки наладили поставки чипов. И уже не только самых элементарных, но и вполне продвинутых, вроде Nvidia H100. Их производят сотни тысяч, и уследить за каждой тысячей непросто. (Ещё проще дело обстоит, например, с процессорами Intel Xeon: их миллионы, но это универсальные процессоры, и они не заточены под ИИ.)
Так и был собран суперкомпьютер МГУ-270. Никакого продвижения к собственному производству чипов такого уровня в РФ пока не видно. Китай их тоже делать не умеет, по крайней мере в промышленных количествах, а если и научится, то не факт, что будет поставлять их в Россию.
Но здесь нужно иметь ввиду, что «уследить» за разбегающимися по мировому рынку чипами, например, за теми же графическими ускорителями, очень трудно, поскольку этих чипов становится много. А много их становится, когда технология не только крепнет и масштабируется, но и устаревает, когда это уже не сегодняшний, а вчерашний топ.
Так что даже если «серый» импорт работает хорошо, он работает со старыми моделями. Ориентируясь на такую форму обеспечения процессорами, РФ по умолчанию закладывает отставание на 2-3 года. Работать можно, но на пару шагов позади. Е
сли нужно не 10 тысяч процессоров, а, скажем 200 тысяч H100 и совсем новых H200, как в монстре Colossus, который строит Илон Маск, тоже будут проблемы: серые схемы — это всё-таки не прямые поставки, они ненадёжны и ограничены в объёмах. Когда объём вырастает, люди, которые следят за выполнением санкций, видят это и прикрывают такую цепочку. Потом возникнет другая, но это потом.
С софтом, напротив, всё вполне нормально. Для развития ИИ есть две критически важных библиотеки — PyTorch и TensorFlow. Они тесно связаны с архитектурой процессоров, в том числе Nvidia. Но сами библиотеки открыты, а драйверы Nvidia и специализированные библиотеки (CUDA) бесплатно доступны.
Проблемы возникают при доступе к облакам, но они решаемы. Вообще если ты рядовой разработчик, это не твои проблемы. Yandex Cloud или Cloud.ru готовы и поддерживать и обновлять библиотеки, и обеспечить работу с самыми новыми чипами Nvidia, конечно, если они у вас есть.
Но в целом это говорит о том, что отставание заложено в схему. А для самых передовых моделей ИИ это критично. Простой пример: возьмите ChatGPT-3.5 и сравните его работу с ChatGPT4 o1, хотя бы с бесплатной версией. И почувствуйте разницу. А между ними — два года.
Но развивать ИИ-модели РФ, возможно, и будет. И деньги находить. И процессоры, и софт. Нет, РФ не участвует в «гонке за AGI» (то есть, за самым продвинутым, почти человекоподобным «общим» ИИ) и участвовать в сегодняшних условиях не сможет (здесь все разговоры на тему «кому он сдался этот AGI», ну, прямо по Эзопу — «виноград зелен»).
Но ИИ — большая область, и в чём-то «суверенный ИИ», который строит РФ, может оказаться на передовой. Его, собственно, и делают для «передовой». Решения здесь другие, да и чипы нужны другие: не Nvidia H100, а Nvidia Jetson или совсем продвинутые — с программируемой логикой (скажем, процессоры AMD Xilinx).
Подпишитесь на канал "Жизнь Дурова: ЗОЖ, деньги, ИТ" - все самое главное о здоровье, технологиях и деньгах