Еще недавно для создания красивой 3D-галереи с достопримечательностями нужно было использовать генераторы изображений, инструменты 3D-реконструкции, редакторы моделей и веб-разработку. Сегодня часть этой работы может выполнить ИИ-агент практически самостоятельно.
Разработчик из сообщества Hugging Face показал интересный эксперимент: он попросил ИИ создать полноценный сайт с трехмерными моделями знаменитых памятников Парижа. При этом человек не создавал изображения вручную и не работал с программами для 3D-моделирования.
Агент сделал всё сам, используя всего два готовых ИИ-сервиса.
Новая экономика цифровых строительных блоков
В мире разработки всё чаще говорят о концепции «экономики строительных блоков».
Суть идеи проста: вместо создания огромных монолитных систем разработчики используют множество небольших специализированных инструментов, которые можно объединять между собой.
Особенно хорошо с такой задачей справляются современные ИИ-агенты.
Они не всегда идеально пишут сложные системы с нуля, зато отлично умеют соединять уже существующие сервисы в единое решение.
Теперь этот подход начинает распространяться и на мультимедийные технологии.
Hugging Face превращается в конструктор для ИИ
На платформе Hugging Face размещены тысячи моделей искусственного интеллекта.
Многие из них доступны через так называемые Spaces — интерактивные приложения, которые можно запускать прямо через браузер.
Недавно появилась возможность автоматически объяснять ИИ-агентам, как пользоваться такими сервисами.
Для этого используется специальный файл agents.md.
ИИ может прочитать этот файл и сразу понять:
- какие API доступны;
- как отправлять запросы;
- как загружать файлы;
- как получать результаты;
- какие параметры поддерживаются.
Фактически агент получает инструкцию по работе с сервисом без необходимости читать документацию вручную.
Как была создана 3D-галерея Парижа
Для создания проекта агент объединил два разных сервиса.
Первый отвечал за генерацию изображений.
Модель Ideogram 4 получала текстовое описание достопримечательности и создавала качественное изображение на черном фоне.
Например:
- Эйфелева башня;
- Лувр;
- Триумфальная арка;
- другие известные объекты Парижа.
После этого изображения автоматически отправлялись во второй сервис.
Из картинки в полноценную 3D-модель
Второй сервис — TripoSplat.
Его задача заключается в восстановлении трехмерной модели по одному изображению.
На вход подается обычная картинка.
На выходе получается полноценный 3D-объект в формате Gaussian Splatting.
Эта технология сегодня считается одним из самых перспективных способов отображения реалистичных трехмерных сцен.
Полученные модели можно вращать, масштабировать и рассматривать с разных сторон прямо в браузере.
Агент выполнил и дополнительную работу
Самое интересное заключается в том, что агент не ограничился запуском двух сервисов.
Он самостоятельно выполнил целый набор дополнительных задач:
- исправил ориентацию моделей;
- автоматически подобрал ракурс для просмотра;
- сжал файлы для ускорения загрузки;
- создал интерфейс на Three.js;
- добавил анимацию переходов между объектами;
- развернул готовый сайт на Hugging Face.
От человека требовались только общие пожелания.
Например:
«Сделай камеру дальше».
Или:
«Замени этот объект на более интересный».
Всё остальное агент выполнял самостоятельно.
Один запрос — и новая страна готова
После того как цепочка была собрана, создание новых проектов стало занимать считанные минуты.
Разработчик попросил агента создать аналогичную галерею для Египта.
Затем для Японии.
ИИ снова выполнил весь цикл:
- сгенерировал изображения;
- построил 3D-модели;
- оптимизировал файлы;
- создал сайт;
- опубликовал проект.
Менялись только текстовые запросы.
Вся инфраструктура уже была готова.
Почему это важный момент для индустрии ИИ
Главный вывод заключается не в том, что появилась еще одна модель для генерации картинок или 3D-объектов.
Гораздо важнее другое.
ИИ начинает работать как настоящий интегратор технологий.
Сегодня агент может объединять разные модели от разных компаний и превращать их в единый продукт практически без участия человека.
Раньше подобный проект потребовал бы команду специалистов по машинному обучению, веб-разработке и 3D-графике.
Теперь достаточно сформулировать идею и предоставить агенту доступ к нужным инструментам.
Если эта тенденция продолжится, стоимость создания сложных мультимедийных приложений может резко снизиться, а скорость разработки — вырасти в разы.
Именно поэтому многие эксперты считают, что будущее ИИ заключается не только в более мощных моделях, но и в способности агентов самостоятельно комбинировать уже существующие технологии в новые продукты.