Это следующий шаг после базовой работы с моделями, когда они становятся частью системы с доступом к данным, инструментам и логике принятия решений.
Начинаем с базы: как устроен инференс LLM, что влияет на скорость и стоимость, зачем нужен kv-cache и квантование. Дальше переходим к практике – поднимаем инференс через triton, сравниваем vLLM и TensorRT и разбираемся, что выбирать под задачу.
Вторая часть – полноценный разбор Retrieval-Augmented Generation, в формате как это реально собирается в проде:
- как готовить данные и не сломать поиск
- чем отличаются BM25, FAISS и биэнкодеры
- как работает ранжирование и реранкеры
- как собирать контекст и управлять генерацией
- как считать метрики и находить узкие места
- как контролировать стоимость и обновления
Отдельно разбираем диагностику, безопасность и advanced-паттерны.
И финальный блок – сами агентные системы: архитектуры, мультиагентные сценарии, Supervisor-парадигма, протоколы взаимодействия (MCP), атаки и мониторинг. Плюс практические семинары и ДЗ после ключевых этапов.
А в практической части используем платформу VseLLM от Романа Куцева (эксперт в области оценки AI и фаундер платформы LLM Arena) – это сервис с единым API для доступа к разным моделям, балансировкой нагрузки и автоматическим переключением между провайдерами. Студентам специализации даём бонус на тестирование сервиса – можно будет сразу применять инструменты из курса на практике.
В этом блоке уроки ведут:
— Никита Зелинский (CDS MWS, директор по машинному обучению и исследованию данных)
— Максим Шаланкин (ML Team Lead в финтех‑команде Big Data MWS (МТС))
Если коротко: в этом блоке разбираем, как из отдельных моделей собираются полноценные AI-системы с понятной архитектурой и предсказуемым поведением.
Присоединяйтесь уже сейчас: https://vk.cc/cW8145