GPU и акселераторы для нейросетей. Тензорные компиляторы. Инференс LLM
Системное программирование и аппаратная разработка имеют свою специфику в разных прикладных областях — в том числе в искусственном интеллекте. В этом выпуске Елена Лепилкина и Антон Афанасьев изучат эту специфику в деталях. А поможет им Андрей Камаев — эксперт по разработке ПО искусственного интеллекта YADRO. Наш герой стартовал в ИИ-разработке с популярнейшей библиотеки компьютерного зрения OpenCV еще в те времена, когда этим занималась независимая компания Itseez.
В ходе выпуска Андрей рассказал об истории развития современных нейросетей и осветил текущий рынок «железа» для ИИ. После этого разговор перешел к специфике разработки LLM «изнутри» и завершился полезными советами для тех, кто только начинает искать место разработчика и боится конкуренции с нейросетями.
Основные темы подкаста:
📍как сфера искусственного интеллекта пришла к LLM и другим современным концепциям;
📍как устроены гонки на рынке больших языковых моделей сегодня;
📍как поделен рынок «железа» для тренировки LLM;
📍почему в лидеры ИИ-железа не вышла AMD;
📍почему сложно сделать специальный аппаратный акселератор для LLM, как для криптовалюты;
📍что особенного в компиляторах для нейросетей;
📍почему любая нейросеть — это вредный джинн;
📍что важно разработчикам-джунам для успешной конкуренции с LLM.
