Почему видеокарты для AI больше не в тренде
Вот пользуетесь вы пользуетесь этими вашими AI, они отвечают вам с какой-то скоростью и с каким-то качеством.
Но на вопрос "А на каком железе и как это все работает?" у многих, скорее всего, есть просто очень смутное представление: "Типа как-то работает на куче-куче мощнейших видеокарт ", из-за чего они стали дифицитными и супер дорогими в последнее время.
А.
Еще с недавнего времени многие заметили, что стандартная оперативка подорожала в несколько раз.
Короче. Я вчера послушал офигеннейший подкаст от подлодки (номер 469) про то, как на уровне железа работаю современные LLM модели.
И мне так понравилось, что захотелось сразу написать пост))
На подкаст позвали Зигфрида (кстати, выпускник Физтеха, который пришел на первый курс, когда я выпускался с 6го).
Зигфрид работает ML Solutions Architect'ом в компании Cerebras, которая 2 недели назад официально анонсировала крупную сделку с OpenAI на поставку их супер-крутых чипов.
Чем выделилась компания Cerebras.ai?
Фан факты
1. Делает чипы размером с кухонную тарелку (на обложке поста сравнение размеров с обычным GPU. Взял картинку с их сайта)
2. Чип может нагреться и искривиться в одном месте (если его неправильно использовать - нагрузить несколько ядер в одном углу, а другие оставить простаивать)
3. Весь цикл от низкоуровневого железа до высокоуровнего софта делает сама
4. На чипе припаяна память SRAM в несколько ГИГАбайт (в отличии от Килобайт на GPU чипах). Это позволяет в несколько ТЫСЯЧ раз быстрее обрабатывать операции с LLM (обучать модели и отвечать пользователям на запросы)
В общем, кому интересно заглянуть "под капот" и больше узнать о железе, обслуживающим современные запросы в мире AI, то супер рекомендую послушать.
Apple подкаст - ссылка
Youtube - ссылка
🤓 - ботан, если в теме железа
🙈 - обезьянка, если очень интересно и ничего не понятно)
❤️ - сердечко, просто так.
Обнял.
Костя Балакин | Бегущий аналитик
#ит #ai #железо
