Найти в Дзене
284 подписчика

⚡️Михаил Гуненков представил первый инструментальный стек для тестирования производительности локального запуска больших языковых моделей на устройствах под управлением ОС «Аврора».


📲Старший преподаватель кафедры ПМиФИ ОмГТУ, участника Омской Цифры, выступил на конференции OS:DAY. Мероприятие организовано ИСП РАН и ведущими компаниями-разработчиками отечественных операционных систем.

✅Михаил рассказал об итогах большого исследования, над которым работали студенты факультета информационных технологий и компьютерных систем ОмГТУ — Антон Цейдлер и Матвей Фральцов.

▶️Ребята выяснили, насколько эффективно ARM-устройства, управляемые отечественной ОС, могут запускать нейросети локально, без обращения к облачным серверам. Команда протестировала различные модели, языки и режимы работы, чтобы найти идеальные настройки.

🟥Весь исходный код студенты выложили в открытый доступ. Разработчики по всей стране смогут использовать его для создания новых приложений.

#ОмскаяЦифра #ИТОмск
Около минуты