Найти в Дзене
Галера Морева

Мои нейросетевые итоги за праздники

Завтра рабочий день. Обычно за праздники я 25-30 часов точно провожу в рабочих делах, но в этом году до офиса добирался только убираться и чуть-чуть поэкспериментировать. Но стремление к знаниям в выходные просыпается особенно жестко. Потому изучал дома разные статьи на русском и английском на тему нейросетей и их локального запуска. Если кто не в курсе, я адепт local-first подхода работы с ИИ. Облачные ИИ бесконечно хороши, но не удовлетворяют моему требованию изоляции технических решений. Мой сетап из 3090 + 96RAM слаб для запуска мощных моделей вроде ноябрьской китайской GLM-4.6 и пошел экспериментировать с runpod. С ранподом только узнал 3 способа "как не нужно" запускать локальные ИИ на арендованных мощностях, разумеется потратив на это деньги :) Также узнал как можно более оптимально запускать локальные модели, на которых живут наши и клиентские технические решения. Осталось все попробовать в деле на проде.

Мои нейросетевые итоги за праздники

Завтра рабочий день. Обычно за праздники я 25-30 часов точно провожу в рабочих делах, но в этом году до офиса добирался только убираться и чуть-чуть поэкспериментировать.

Но стремление к знаниям в выходные просыпается особенно жестко. Потому изучал дома разные статьи на русском и английском на тему нейросетей и их локального запуска.

Если кто не в курсе, я адепт local-first подхода работы с ИИ. Облачные ИИ бесконечно хороши, но не удовлетворяют моему требованию изоляции технических решений.

Мой сетап из 3090 + 96RAM слаб для запуска мощных моделей вроде ноябрьской китайской GLM-4.6 и пошел экспериментировать с runpod.

С ранподом только узнал 3 способа "как не нужно" запускать локальные ИИ на арендованных мощностях, разумеется потратив на это деньги :)

Также узнал как можно более оптимально запускать локальные модели, на которых живут наши и клиентские технические решения. Осталось все попробовать в деле на проде.