Привет всем! Последние пару недель мы отмечали уходящий год, выделяя наших любимых цифровых персонажей и окружение 2022 года и возвращаясь к потрясающим проектам, которые вдохновляли нас в течение года.
Эта статья посвящена самым важным техническим и программным релизам 2022 года, заметным событиям и невероятным программам, которые изменили рабочие процессы тысяч художников и полностью изменили ландшафт цифрового искусства. В сегодняшнем списке мы вернемся к наиболее значительным обновлениям нашего любимого 3D-программного обеспечения, перечислим новые инструменты и плагины к существующим и, конечно же, еще раз взглянем на различные ИИ, появившиеся в 2022 году.
Итак, без лишних слов, давайте начнем!
Год отлично начался с выпуска Plask еще в январе. Разработанный Plask AI, Plask был веб-редактором 3D-анимации на базе искусственного интеллекта и инструментом захвата движения, который предоставил тысячам аниматоров надежный набор инструментов mocap, доступный бесплатно. Самое главное, что приложение снабжено удобной возможностью анимировать цифровых персонажей, используя любое видео в качестве mocap, благодаря помощи искусственного интеллекта.
Следующий релиз, который мы хотели бы выделить, по совпадению, также был разработан для захвата движения, но был выпущен в качестве бесплатного дополнения для Blender еще в феврале. Познакомьтесь с BlendArMocap, решением mocap без маркировки, которое позволяет своим пользователям определять руки, лица и позы с помощью веб-камеры. Кроме того, плагин может похвастаться возможностью легко передавать обнаруженные данные на Rifigy rigs, обеспечивая удобный и бесшовный рабочий процесс.
В том же месяце студент-инженер Приянджали Гупта поразил нас фантастической и невероятно полезной моделью искусственного интеллекта, способной переводить американский язык жестов на английский в режиме реального времени. Модель использовала API обнаружения объектов Tensorflow и была построена с использованием transfer learning из предварительно обученной модели ssd_mobilenet.
Еще одна отличная модель на базе искусственного интеллекта, к которой мы хотели бы вернуться, - это Instant NeRF, классная технология, которая может превратить несколько 2D-изображений в 3D-сцену, выпущенная исследовательской группой NVIDIA еще в конце марта. Основанный на Neural Radiance Fields, специальном ИИ, который может обучаться реконструировать 3D-сцену из нескольких 2D-изображений, сделанных под разными углами, Instant NeRF может обрабатывать множество снимков в течение нескольких секунд и отображать результирующую 3D-сцену в течение десятков миллисекунд.
В начале апреля сообщества 3D-художников и разработчиков игр были потрясены выпуском первой стабильной версии Unreal Engine 5. Долгожданная версия движка, которая первоначально была представлена в 2020 году, принесла любимые функции Lumen и Nanite, улучшенные инструменты для создания суперреалистичных деталей и настройки реалистичной физики, а также бесчисленное множество других функций и улучшений, которые значительно улучшили рабочие процессы как художников, так и разработчиков.
Наряду с Unreal Engine 5 Epic Games также выпустила Lyra, стартовую игру, призванную помочь создателям освоиться с новой версией движка, и поделилась образцом City, в котором был показан полный город, здания, транспортные средства и толпы из демо-версии Matrix Awakens.
И вот начинается. Всего через пару дней после выпуска UE5 OpenAI представила DALL-E 2, модель преобразования текста в изображение на базе искусственного интеллекта, которая популяризировала изображения, генерируемые искусственным интеллектом, и положила начало текущей тенденции, усиленной Midjourney и стабильным распространением в дальнейшем.
Однако после своего выпуска DALL-E 2 был тепло встречен сообществом благодаря своей мощной возможности создавать реалистичные изображения и рисунки на основе описания на естественном языке, возможности вносить реалистичные изменения в существующие изображения и многому другому. Выпуск модели ознаменовал начало "бума искусственного интеллекта", который происходил в течение всего года и о котором нам еще предстоит поговорить.
В середине апреля команда разработчиков представила SNUG, впечатляющую нейронную сеть для добавления 3D-деформаций к одежде, которую носят параметрические человеческие тела. Обученный по схеме, которая устранила необходимость в реальных образцах, фреймворк позволил команде интерактивно манипулировать параметрами формы объекта, создавая очень реалистичные деформации одежды без использования какого-либо контроля во время тренировки.
Поскольку в мае и июне ничего особенно интересного не происходило, июль порадовал нас выпуском Buildify, бесплатной библиотеки Geometry Nodes для Blender, разработанной Павлом Оливой. Инструментарий позволил тысячам художников Blender собирать новые здания в кратчайшие сроки, предлагая простые в использовании инструменты для выдавливания, копирования и вставки граней, при этом сами здания создавались автоматически.
Также в июле исследователи из NVIDIA и Стэнфордского университета представили EG3D, гибридную явно-неявную сетевую архитектуру, способную генерировать 2D-изображения человеческих лиц и кошачьих морд с несколькими видами разрешения в режиме реального времени и придавать сгенерированным изображениям высококачественную 3D-геометрию. Используя современные 2D-генераторы CNN, такие как StyleGAN2, модель была создана для повышения вычислительной эффективности и качества изображения 3D GAN, не слишком полагаясь на приближения.
Вышеупомянутый "бум искусственного интеллекта" достиг новых высот в августе, когда команда StabilityAI выпустила код Stable Diffusion, разработанную командой модель преобразования текста в изображение, способную создавать великолепные изображения из текстовых подсказок и грубых набросков. Помимо предоставления множеству людей надежного бесплатного набора инструментов для генерации своих идей всего за несколько кликов, этот шаг также изменил все, побудив других разработчиков также использовать свои ИИ с открытым исходным кодом.
В сентябре, когда "бум искусственного интеллекта" был в самом разгаре и энтузиасты искусственного интеллекта осваивали модели преобразования текста в изображение, разработчики Runway, веб-видеоредактора на базе машинного обучения, пошли еще дальше, представив потрясающую функцию преобразования текста в видео. Система на базе искусственного интеллекта позволила пользователям Runway создавать видеоролики с использованием текстовых описаний на естественном языке и редактировать их, предоставляя короткие подсказки.
Наличие надежного программного обеспечения - это здорово, но не менее важно мощное оборудование, которое поддерживало бы ваши программы. К счастью, в 2022 году NVIDIA и AMD выпустили свои новые графические процессоры, которыми могли воспользоваться как 3D-художники, так и разработчики игр.
Первая представила видеокарты GeForce RTX 4090 и 4080, работающие на архитектуре Ada Lovelace от NVIDIA. Первая модель имела 24 ГБ памяти G6X, в то время как вторая имела две конфигурации памяти: 12 ГБ и 16 ГБ, причем обе были намного мощнее, чем модели из серии 3000, и оснащались технологией глубокого обучения Super Sampling третьего поколения (DLSS 3).
AMD последовала этому примеру, также представив два новых графических процессора – RX 7900 XTX и RX 7900 XT – на базе фирменной архитектуры RDNA 3. Обе карты имели поддержку DisplayPort 2.1 и позволяли своим пользователям запускать игры с разрешением 1440p и даже 4K с трехзначной частотой кадров. Первый графический процессор мог похвастаться 96 вычислительными блоками с тактовой частотой 2,3 ГГц и 24 ГБ памяти GDDR6, работающей на 384 битах, в то время как более дешевая модель XT предлагала 84 вычислительных блока с базовой тактовой частотой 2 Гц и немного более медленной 320-битной шиной памяти.
В конце сентября исследователи NVIDIA снова поразили нас GET3D, генеративной моделью, способной создавать полностью текстурированные 3D-сетки со сложной топологией и богатыми геометрическими деталями. Обученный с помощью коллекции 2D-изображений, искусственный интеллект получил возможность генерировать огромное разнообразие активов, включая автомобили, стулья, животных, мотоциклы, человеческих персонажей и здания. По словам команды, модель была создана благодаря успехам этого года в моделировании дифференцируемой поверхности, дифференцируемом рендеринге и 2D GAN.
Во время конференции Adobe MAX 2022, которая состоялась в октябре, команда Adobe присоединилась к этому списку, официально выпустив Substance 3D Modeler 1.0, инструмент компании для цифрового моделирования и скульптуры.
Впервые представленное еще в конце апреля программное обеспечение было разработано командой Substance 3D в сотрудничестве с создателями инструмента для создания скульптур виртуальной реальности Oculus Medium. Наиболее примечательной особенностью инструмента было то, что он позволял 3D-художникам лепить и собирать свои проекты как на настольном компьютере, так и в виртуальной реальности, меняя режим в любое время.
В начале ноября команда Sparseal произвела на нас впечатление и упростила рабочие процессы тысяч художников, представив CozyBlanket 2.0, новую и улучшенную версию невероятного приложения retopology для iPad, разработанного командой.
Новая версия приложения предложила переработанный рендеринг видового экрана для улучшения контрастности и удобочитаемости на этапе ретопологии, добавила возможность рисовать, удалять и расширять УФ-швы, рисуя по краям сетки на этапе разворачивания, представила возможность создавать карты нормалей касательного пространства и цветовые карты из импортированной целевой сетки на этапе выпечки и бесчисленное множество других улучшений, позволяющих владельцам iPad превратить самую страшную часть любого рабочего процесса в удобное и приятное занятие.
Через неделю после выпуска CozyBlanket 2.0 мы были поражены программным обеспечением под названием Move AI, удобной программой для mocap без маркеров, способной извлекать естественные движения человека из видео с использованием продвинутого искусственного интеллекта и автоматически переназначать данные на вашего персонажа. Более того, инструмент поставляется с возможностью экспорта данных непосредственно в любой игровой движок или цифровую среду, что обеспечивает более удобный и бесшовный рабочий процесс.
Последний месяц уходящего года начался с выпуска RealityScan, приложения для 3D-сканирования, которое позволяет пользователям превращать фотографии со смартфонов в высококачественные 3D-модели, разработанного Epic Games в сотрудничестве с Quixel и захватывающего реальность.
Чтобы начать работу с RealityScan, все, что вам нужно сделать, это сфотографировать объект, который вы хотите воспроизвести в 3D, с помощью вашего смартфона или планшета на базе iOS, и приложение автоматически соберет модель с помощью облачной обработки. Оттуда вы можете загрузить свою модель в Sketchfab или загрузить ее для использования в выбранном вами 3D-программном обеспечении.
Поскольку 2022 год стал годом беспрецедентного повышения качества различных генеративных ИИ, было бы уместно выделить самую последнюю и, возможно, самую умопомрачительную модель искусственного интеллекта ChatGPT в качестве финального релиза этого года.
Представленный в начале декабря, ChatGPT представляет собой модель на базе искусственного интеллекта, способную взаимодействовать в режиме разговора, отвечать на последующие вопросы и предоставлять подробные ответы на запросы ввода. Менее чем за месяц было показано, что модель способна создавать наброски фильма, скрипты на Python для Blender, историю "Выбери свое собственное приключение", пошаговое руководство по использованию чертежей Unreal Engine, рэп-баттл между финтехом и банками в стиле 2Pac и Notorius B.I.G. и многое другое.
Как уже говорилось ранее, ChatGPT является заключительным выпуском резюме этого года. Однако есть еще одно событие, которое мы считаем одним из самых важных событий года.
Как писал Ньютон, каждое действие имеет равную и противоположную реакцию, и с огромной популярностью генераторов изображений на базе искусственного интеллекта, появившихся в этом году, появление движения, которое выступило бы против ИИ, было лишь вопросом времени.
Это стало реальностью 14 декабря, когда тысячи и тысячи 2D и 3D художников, представителей всех мыслимых отраслей цифрового искусства, опубликовали одно и то же изображение "Скажи нет изображениям, созданным с помощью искусственного интеллекта" и потребовали, чтобы ArtStation удалила контент с использованием искусственного интеллекта с веб-сайта, сославшись на множество причин, в том числе тот факт, что сгенерированные изображения уменьшают работу людей-создателей и затрудняют работодателям поиск талантов на платформе.
Кампанию можно считать продолжающейся, поскольку создатели все еще протестуют против контента с искусственным интеллектом и угрожают вообще покинуть ArtStation, если их требования не будут выполнены.
На этой ноте мы завершаем наш список наиболее важных технических и программных релизов и заметных событий этого года. Что вы думаете об этом списке? Какие релизы, по вашему мнению, были самыми важными? Как вы думаете, что ждет нас в будущем?
Оригинал статьи: https://80.lv/articles/80-level-digest-most-important-tech-software-releases-of-2022