Stability AI анонсировала Stable Diffusion 3 – новейшую и самую мощную версию модели искусственного интеллекта компании, генерирующей изображения. Stability AI утверждает, что новая модель, которая еще не широко доступна, способна легко и точно классифицировать изображения и лучше представлять текст.
Stable Diffusion 3 (SD3) основан на новой архитектуре и будет работать на различном оборудовании. В SD3 используется обновленный «диффузионный преобразователь» – технология, впервые разработанная в 2022 году, но пересмотренная в 2023 году и теперь достигающая масштабируемости. ИИ-генератор также использует «согласование потока» – ещё один новый метод, который аналогичным образом улучшает качество без слишком больших накладных расходов.
Семейство моделей Stable Diffusion 3 насчитывает от 800 миллионов параметров (меньше, чем обычно используемый SD 1.5) до 8 миллиардов параметров (больше, чем SD XL), с возможностью работы на различном оборудовании. Таким образом можно запускать различные версии модели локально на разных устройствах от смартфонов до серверов.
На сайте X, ранее бывшего Twitter, руководитель Stable Diffusion Эмад Мостак отмечает, что новая модель способна к мультимодальному пониманию, а также к вводу и генерации видео. Эти возможности всё ещё являются теоретическими, но похоже, что нет технических препятствий для их включения в будущие выпуски.
Когда Stable Diffusion 3 будет выпущена для широкой публики – пока неизвестно. Как утверждает производитель, после завершения тестирования ИИ-генератор можно будет бесплатно скачать и запустить локально.