Нейросетевая бич-инженерия
У нас в офисе в данный момент трудится один сервер с RTX 3090 на борту. Вторая 3090 стоит в моём рабочем компе и "выходит дежурить" в общий стек видеокарт только, когда я ухожу с работы.
Но есть проблема — нам нужно реализовать возможность в наших проектах запускать и gpt-oss и gemma3 модели. Одна для текста, вторая для компьютерного зрения. Причем обращаются к этим моделям разные приложения.
В итоге пишем отдельный ии-агрегатор, который через систему очередей распределяет запросы, управляет памятью на сервере с видеокартой и занимается горячей заменой и переключением моделей для разных приложений.
Система обкатывается, но уже сейчас дает нам возможность отложить закупку еще одной видеокарты в компанию до нового года.
Такой вот бич-инженерией приходится заниматься в прогрессиных it-компаниях:)
