Нейрострой — это первый в России фреймворк, который позволяет запускать огромные модели в сотни миллиардов параметров на смешанном железе под стандартными операционными системами, позволяющий объединять ресурсы разных устройств, создавая единое вычислительное пространство с до 560 ГБ общей памяти. Эта память используется нейросетевыми агентами для сложных задач, которые раньше требовали дорогостоящих специализированных серверов.
Пришлось искать обходной путь. Так появился фреймворк «Нейрострой» — по сути, набор инструментов, который позволяет распределить нагрузку одной большой модели между разными устройствами. Это решило нашу внутреннюю задачу, а затем мы обнаружили, что подход работает не только для чертежей.
От технической необходимости к отраслевым решениям
Изначально мы хотели всего лишь упростить работу инженеров. Но гибкость нашего подхода позволила применять его в других сферах.
Наш фреймворк оказался полезен там, где нужно:
· Обрабатывать много данных в реальном времени: например, в логистике для пересчета маршрутов с учетом загруженности дорог и погодных условий.
· Работать с постоянно меняющимися нормативами: в финансах или юриспруденции, где важно следить за актуальностью данных.
· Использовать существующее оборудование: не заменяя парк техники, а грамотно используя его ресурсы.
Мы не ставили целью создать универсальный инструмент. Просто предложили архитектуру, которую можно адаптировать под разные нужды.
Как это работает: принцип «Большой агент и маленькие быстрые специализированные агенты»
Чтобы объяснить суть подхода, мы используем простую аналогию.
Работа с большой ИИ-моделью как научно-исследовательский центр
· Центральный процессор (например, на Mac Studio) — это «Главный агент».
Его задача — хранить полную версию модели (всю «библиотеку») и точно знать, где находятся нужные данные.
· Внешние видеокарты (GPU) — это «Специализированные Агенты».
Они не хранят все Знания, но получают от главного агента именно то задание, которое необходимо для решения конкретной задачи, и делают это очень быстро.
На практике это выглядит так:
1. Пользователь задает вопрос через интерфейс (например, «Сделай отчет по смете»).
2. «Главный агент» (центральный процессор) определяет задание для агента.
3. Данные последовательно передаются в «специализированным агентам» (внешние GPU), где происходит обработка.
4. Результаты возвращаются обратно, и система формирует итоговый ответ.
Такой подход позволяет работать с моделями любого размера, используя ресурсы нескольких устройств как единого целого.
В чем практическая выгода для бизнеса?
· Снижение затрат. Возможность использовать уже имеющееся оборудование разной конфигурации без покупки дорогостоящих специализированных серверов.
· Повышение эффективности. Мощные вычислительные ресурсы (внешние GPU) используются максимально продуктивно, без простоев.
· Технологическая гибкость. Решение адаптируется под текущие задачи и IT-инфраструктуру компании, а не диктует жесткие рамки.
Кому может быть интересен наш подход?
Мы видим, что наш опыт может быть полезен компаниям, которые:
· Хотят внедрить большие ИИ-модели, но не готовы к полной замене привычного интерфейса.
· Работают с большими объемами текстовых данных (техническая документация, юридические заключения, финансовые отчеты).
Нейрострой для тех, кто ищет способ повысить эффективность существующих процессов за счет интеллектуальной автоматизации.
© 2025 Нейрострой. Все права защищены.
Статья распространяется по лицензии CC0