FRIDA, роботизированная рука с кистью, использует искусственный интеллект для совместной работы с человеком над произведениями искусства. Попросите FRIDA нарисовать картину, и он приступит к работе, прикладывая кисть к холсту.
FRIDA, названная в честь Фриды Кало, расшифровывается как Framework and Robotics Initiative for Developing Arts. Проект возглавляет Питер Шальденбранд, доктор философии Исследовательского Интститута Школы компьютерных наук Университета Карнеги-Меллон (Carnegie Mellon University - CMU) вместе с преподавателями факультета Джином О и Джимом МакКанном. В нем также принимают участие студенты и исследователи из CMU.
Пользователи могут управлять FRIDA при помощи простого текстового запроса, который может содержать отсылку к другим произведениям искусства и стилям, или загружая фотографию. Команда экспериментирует и с другими входными данными. Так например, они включили песню ABBA "Dancing Queen" и попросили FRIDA нарисовать ее.
"FRIDA - это роботизированная система рисования, но FRIDA - не художник", - сказал Шальденбранд. "FRIDA не генерирует идеи. FRIDA - это система, с которой может сотрудничать художник. Художник может задать FRIDA высокоуровневые цели, а затем FRIDA может их выполнить".
Робот использует модели ИИ, аналогичные тем, которые используются в таких инструментах, как ChatGPT и DALL-E 2 от OpenAI, которые генерируют текст или изображение, соответственно, в ответ на запрос. FRIDA имитирует рисование изображения мазками кисти и использует машинное обучение для оценки своего прогресса в процессе работы.
Конечные продукты FRIDA импрессионистичны и причудливы. Мазки кисти смелые. Им не хватает точности, которую так часто ищут в роботизированных работах. Если FRIDA допускает ошибку, она ее исправляет, вписывая ошибочное пятно краски в конечный результат.
"FRIDA - это проект, исследующий пересечение человеческого и роботизированного творчества", - говорит МакКанн. "FRIDA использует модели ИИ, которые были разработаны для таких задач, как создание подписей к изображениям и понимание содержания сцены, и применяет их для решения этой художественной генеративной задачи".
FRIDA использует ИИ и машинное обучение непрерывно во время своего творческого процесса. Сначала она тратит час или более на то, чтобы научиться пользоваться кистью. Затем для понимания входных данных она использует большие визуально-языковые модели, обученные на массивных наборах данных, в которых сопоставляются текст и изображения, взятые из Интернета, такие как OpenAI's Contrastive Language-Image Pre-Training (CLIP). Системы ИИ используют эти модели для создания нового текста или изображения на основе запроса.
Другие инструменты генерации изображений, такие как OpenAI's DALL-E 2, используют большие визуально-языковые модели для создания цифровых изображений. FRIDA делает шаг вперед и использует свою роботизированную систему для создания физических картин. Одной из самых больших технических проблем при создании физического изображения является сокращение разрыва между моделированием и реальностью - разницы между тем, что FRIDA создает в моделировании, и тем, что она рисует на холсте. FRIDA использует идею, известную как real2sim2real. Реальные мазки кисти робота используются для обучения симулятора отражать и имитировать физические возможности робота и материалов для рисования.
Команда FRIDA также стремится устранить некоторые ограничения в существующих больших визуально-языковых моделях, постоянно их совершенствуя. Команда тренировала модели заголовками из новостных статей, чтобы дать им представление о том, что происходит в мире, и далее обучала их на изображениях и текстах, более характерных для различных культур, чтобы избежать американской или западной предвзятости. Это многокультурное сотрудничество возглавляют Чжисюань Лю и Беверли-Клэр Окогву, студенты первого курса магистратуры Исследовательского Института , а также Юн Шин и Ёнсик Юн, приглашенные студенты магистратуры из Университета Донгук в Корее. Они предоставляют данные для обучения модели из Китая, Японии, Кореи, Мексики, Нигерии, Норвегии, Вьетнама и других стран.
Как только пользователь FRIDA задает высокоуровневую концепцию картины, которую он хочет создать, робот использует машинное обучение для создания симуляции и разработки плана создания картины. FRIDA отображает палитру цветов на экране компьютера, чтобы человек мог смешать их и предоставить роботу. В настоящее время ведется разработка автоматического смешивания красок под руководством Цзяинь Вэй, студентки магистратуры Школы архитектуры, и Ынсу Кан, преподавателя кафедры машинного обучения.
Вооружившись кистью и краской, FRIDA сделает свои первые мазки. Время от времени робот использует верхнюю камеру для съемки картины. Изображение помогает FRIDA оценить прогресс и при необходимости уточнить дальнейший план. Весь процесс занимает несколько часов.
"Люди задаются вопросом, не лишит ли FRIDA художников работы, но основная цель проекта FRIDA прямо противоположна. С помощью FRIDA мы хотим способствовать развитию творческих способностей человека", - говорит Джин О. "Например, я лично всегда хотел стать художником. Теперь я могу это сделать"
