529 подписчиков
Сегодня в 18:00 у наших друзей в Санкт-Петербурге — университета ИТМО состоится первый учебно-научный семинар по теме "Архитектура LLM-driven приложений" 🔥
Семинар будет особенно интересен старшеклассникам, интересующимся архитектурой ИИ-приложений и созданием LLM-моделей для различных задач
➡️ Приглашенные эксперты из Исследовательского центра "Сильный ИИ в промышленности":
— Ходорченко Мария - с.н.с.
— Бутаков Николай - с.н.с.
— Захарова Анастасия - инженер
💬 На семинаре обсудят:
1. Есть ли общепринятая архитектура для LLM-driven приложений?
2. Имеет ли смысл поднимать LLM локально и встраивать в свой бэк или нужно использовать готовые фреймворки вроде vLLM?
3. Какие бэкенд-фреймворки лучше использовать для работы с LLM?
4. Как распределять нагрузку (или каким образом она распределяется в готовых фреймворках), если модель почти полностью забивает GPU, а пользователей много?
Около минуты
27 апреля 2024