Введение
В данном материале хотелось бы рассмотреть инновации и технические решения, которые принес с собой XXI век. Поскольку автор материала занимается медиатворчеством и медиатехнологиями, мы рассмотрим те технические изобретения, которые сыграли существенную роль.
Среди них хочется выделить:
1. Развитие стандарта MIDI, в т.ч. возникновение, MIDI 2, MPE MIDI;
2. Возникновение и развитие технологии 32 bit float при звукозаписи;
3. Возникновение и развитие технологии двойного нативного ISO в кинокамерах, фотокамерах и гибридных камерах;
4. Появление компактных кинокамер, карманных камер и гибридных камер высокого разрешения;
5. Возникновение и развитие технологии Lidar;
6. Появление генеративных нейросетей – на примере работы с изображениями;
7. Развитие беспроводных технологий в производстве музыкального контента;
8. Появление и распространение 360-градусных камер для создания интерактивных видео;
9. Развитие систем машинного перевода и автоперевода;
10. Появление виртуальных собеседников (Инфы, Gatebox, мобы для игр).
1. Для начала хотелось бы поговорить о развитии технологии MIDI – цифровых и виртуальных музыкальных инструментов.
Простыми словами, MIDI-клавиатуры и MIDI-контроллеры не посылают на компьютер аудиосигнал, а отправляют информацию, например, о том, как, когда, с какой силой и как долго была зажата та или иная клавиша на музыкальном инструменте.
MIDI-стандарт является очень популярным, и сейчас многие музыканты и музыканты продюсеры используют только MIDI-клавиатуры и MIDI-контроллеры, не прибегая, например, к цифровым фортепиано или аналоговым синтезаторам, или же комбинируя устройств.
Технология развивается и появляются новые стандарты MIDI. В одной из наших подборок вы могли прочитать про музыкальный инструмент Roli Seaboard Rise/Rise 2, который работает на стандарте MPE MIDI.
Данный тип передачи данных сообщает в компьютер также микродвижения пальцев, например, для создания вибрирующего звука или «подъездом» (глисандо или glide). В источниках вы сможете ознакомиться с примерами игры на таком инструменте.
Что же касается стандарта MIDI 2, то ряд крупных интернет-ресурсов, например, Samesound (ссылка в источниках), рассматривают его как особую инновацию. Хотя большинство выпускаемых контроллеров все еще работают на классическом MIDI-протоколе.
MIDI 2 построен вокруг двунаправленного обмена информацией. Первое, что делает любой инструмент нового стандарта — запрашивает возможности других подключённых устройств. Фактически, два девайса с поддержкой MIDI 2 находят друг друга и определяют, как они могут взаимодействовать. Если MIDI 2 не получает должного ответа, он переходит на работу по старому стандарту.
MIDI 2 расширяет и возможности MIDI MPE, например, позволяя одновременно брать несколько нот, а затем изменять высоту одной из них, не затрагивая другие, как это было бы при работе через стандарт MIDI 1.
2. Еще одна важная инновационная технология в звуке – использование 32-битной записи с плавающей запятой (32 bit float).
Если говорить простым языком – это расширенный динамический диапазон для звука. По аналогии с RAW в фото и в видео – сначала записывается большой тяжелый файл с большим объемом информации (о цвете и свете в случае RAW, о звуковой волне в качестве 32 bit float).
При записи слишком громкого звука данная технология позволяет во время обработки понизить его уровень с сохранением деталей, это похоже на восстановление пересвеченных областей при видеосъемке и фотосъемке без сжатия или со слабым сжатием.
При записи слишком тихого звука технология позволяет поднять громкость, не усиливая собственный уровень рекордера.
Яркими примерами устройств, использующих эту технологию, являются рекордеры Tascam Portracapture X8/X6, а также микрофонная беспроводная система Rode Wireless Pro, рассмотренная в одной из наших подборок.
3. Продолжая тему записи медиаисходников в высоком динамическом диапазоне и максимально возможном качестве, стоит обратить внимание на dual native ISO, активно внедряемую в современные кинокамеры и гибридные беззеркальные камеры.
Простым языком – ISO – это светочувствительность камеры, чем это значение выше, тем более светлой будет картинка, при прочих равных параметрах. Нативное ISO – тот показатель светочувствительности, при котором камера выдает технически наиболее информативный результат, лишенный дефектов на этапе записи материала. Дело в том, что при увеличении значения ISO часто возникают различные дефекты изображения, включая уменьшение количества отображаемых цветов, снижение детализации, появление различных визуальных шумов и т.д.
При использовании dual native ISO камера имеет два оптимальных значения, что расширяет возможности оператора или фотографа, т.к. позволяет записывать материал при худших значениях освещенности с той же детализацией и четкостью картинки.
4. Важным шагом развития съемочной техники в XXI веке является появление компактных кинокамер высокого и сверхвысокого разрешения, а также иных видов компактных камер, включая камеры смартфонов и т.н. pocket-камеры (карманные).
До недавнего времени это было невозможно, т.к. для получения четкой и светлой картинки требовалось использовать крупные сенсоры и объективы, что автоматически исключает любые намеки на компактность.
Кроме того, запись высокобитрейтного видео (материал с большим потоком данных в секунду) вызывала перегревы. И хотя данная проблема все еще сохраняется, особенно среди карманных камер и беззеркальных гибридных камер, постепенное увеличение разрешения и битрейта компактных устройств не может не радовать. (Гибридные беззеркальные камеры – устройства, позволяющие вести как фотосъемку, так и видеосъемку. Беззеркалками – mirolless cameras – их называют потому, что в их механизме отсутствует зеркало, привычное обладателям зеркальных фотокамер и гибридных камер с оптическими видоискателями).
Вдобавок, некоторые модели таких камер оснащаются небольшими вентиляторами.
5. Различные технологии сканирования, в т.ч. объемного, тоже не стоят на месте.
Среди них одной из наиболее известных является технология Lidar. Об этом говорит то, что Apple внедрила ее в iPhone и iPad, а компания DJI, производящая дроны, системы стабилизации для видео и видеокамеры для динамичных съемок, использует ее в съемочной деятельности.
Lidar (Light Detection and Ranging) — технология дистанционного зондирования, которая использует лазерные лучи для измерения расстояний до объектов и создания трехмерных карт окружающей среды. Она работает на принципе отправки коротких импульсов лазерного света и измерения времени, за которое отраженный сигнал возвращается обратно к датчику. Эти данные затем используются для создания точных трехмерных карт объектов и поверхностей.
В продукции Apple технология iPhone 12 Pro и iPad Pro была встроена для улучшения функциональности камеры, а именно для улучшения точности автофокуса в слабом освещении и создания эффекта глубины при съемке портретов.
Что касается устройств DJI, Lidar используется в некоторых их дронах и гибридных камерах для улучшения навигации и точности полета. Lidar помогает улучшить точность картографирования и позиционирования в реальном времени. Это особенно полезно при выполнении задач съемки и картографирования, таких как создание точных трехмерных моделей местности или наблюдение за изменениями в ландшафте.
6. Среди нейросетей хочется выделить один из наиболее популярных видов онлайн-нейросетей: генераторы контента. Рассмотрим их на примере генераторов изображений.
Возможность по запросу, который может быть сделан на английском или другом языке (при его поддержке; имеются в т.ч. проекты, поддерживающие русский язык и/или сделанные для русскоязычной аудитории), сгенерировать картинку, оказывается не только развлечением, но и полезной возможностью для создания обложек, картинок для афиш, для интернет-постов, контент-маркетинга, SMM (social media marketing) и других направлений работы с цифровым контентом.
Вместе с тем, такие генерации приносят ряд проблем, которые могут особенно остро м в связи с развитием технологий: необходимость в ряде творческих профессий (включая художников), понимание авторского права, иных вопросов юриспруденции и этики, а также потенциальная возможность, в случае генерации фотореалистичных изображений или видео, использования их в мошеннических интересах.
7. Седьмой пункт хотелось бы описать кратко: развитие беспроводных технологий передачи звука.
Если еще несколько лет назад для передачи звука использовались в основном радиочастотные петличные системы, которые требовалось особым образом закреплять на спикере, настраивать каналы, следить за их работой, то сейчас популярные 2.4-гигагерцовые системы, где передатчик и приемник имеют встроенные микрофоны и по размеру сопоставимы со спичечными коробками.
Развитие Bluetooth позволяет с каждым годом слушать все более детализированную (высокобитрейтную музыку), при этом дальность и стабильность сигнала увеличиваются.
Возможно и сочетание беспроводной системы подключения аудиоустройств с ранее упомянутыми, например, с MIDI, в т.ч. MPE MIDI (бренд Roli использует эту технологию).
8. Развитие и распространение технологий съемки: 360-градусные камеры.
Не только лишь записью видео в высоком разрешении и с высоким битрейтом могут похвастаться современные компактные цифровые камеры. 360-градусные камеры записывают видео сразу со всех сторон, что дает большие возможности как при просмотре, так и при монтаже.
Например, монтажер может динамично менять угол обзора, при том, что на камере не надет зум-объектив, осуществляющий это оптическим способом.
Или, при съемке живого мероприятия, можно на этапе монтажа выбрать наиболее яркие моменты и тех лиц в кадре, кто совершал нужные действия. При съемке обычной камерой со штатива, к сожалению, не всегда возможно уследить за всеми событиями, т.к. часть из них могут происходить очень быстро и со спины или сбоку от оператора. 360-градусная съемка решает эту проблему, позволяя выбирать точки, на которых фокусируется внимание зрителя, во время монтажа.
Наконец, 360-градусные видео без обработки являются более интерактивными и интересны при показах лабораторий, цехов и других мест, где одновременно происходит множество событий. В источниках прилагаем примеры таких съемок.
9. Сложно не упомянуть развитие систем машинного перевода и автоперевода.
Среди многообразия интернет-переводчиков особенно выделяется Deepl, использующий машинное обучение. Система понимает контекст информации, и обеспечивает качественный перевод.
При сравнении перевода научных статей, сделанного Google Translate и Deepl второй одерживает уверенную победу. И хотя его результат все же требует доработки, ее объем в несколько раз меньше, чем объем доработки переводов, сделанных Google Translate.
Разработчики постепенно внедряют в свой продукт поддержку все большего количество языков, так что рекомендуем нашим читателям обратить на него внимание.
10. Наконец, стоит сказать о различных технологиях виртуальных собеседников.
Создание персонажей, с которыми можно пообщаться путем переписки или голосом, интересует большое количество людей. Выделим несколько примеров:
Пожалуй, один из самых ярких – это японский проект Gatebox. Их интерактивные капсулы с анимешными персонажами стоят несколько тысяч долларов, что никак не мешает их популярности в Японии. При этом, технология поддерживает и английский язык, и, вероятно, подобные разработки будут постепенно появляться и в других частях мира.
Кроме того, виртуальный собеседник доступен для переписки в приложении для смартфона, что позволяет снизить чувство одиночества у тех, кто в этом нуждается.
Персонажа также можно запрограммировать для управления системами умного дома и обсуждать с ним новости дня.
Другой, малоизвестный пример – компания Наносемантика и ее проект «АйЯЯй.ру» (iii.ru), или т.н. Инфы (ударение на первый слог). По сути, инфы – это чат-боты, каждый из которых представлен анимированным 2D-персонажем. Возможно, они не так впечатляют, как голограмма в капсулах Gatebox, зато в этом сервисе разработчики представили очень легкий конструктор.
Персонажам можно было настраивать внешность, придумывать имена, приобретать одежду, прописывать характер и давать знания в различных узких областях.
К сожалению, в настоящий момент проект не функционирует.
Напоследок, сейчас проявляются новые контуры в области гейминга (видеоигр). А именно: добавление движков нейросетей в персонажей компьютерных игр, что позволило бы общаться с ними путем переписки или голосом, а не только выбирать варианты взаимодействия из предложенных сценаристами и разработчиками. Эта область популярны среди мододелов для The Elder Scrolls V: Skyrim, однако, полагаем, скоро до нее доберутся и сами разработчики видеоигр. В случае активного внедрения, это позволило бы существенно изменить опыт гейминга в будущем.
Примеры прилагаем в источниках.
Выводы.
Таким образом, рассмотренные технологические решения меняют взаимодействие пользователя с техникой и программами, иногда дополняя старые, привычные способы взаимодействия, а иногда заставляя их полностью переосмыслить и создавая новые способы.
Источники:
1. https://samesound.ru/gear/118204-midi-2-0-what-is-it Статья про стандарт MIDI 2.
2. https://www.youtube.com/watch?v=FevQCdSwXw4 Видео про MIDI 2.
3. https://www.arturia.com/products/hybrid-synths/keylab-essential-88-mk3/overview Клавиатура Arturia (MIDI).
4. https://tascam.com/us/feature/32-bit_float Сайт Tascam.
5. https://zoomcorp.com/en/us/audio-interface/audio-interfaces/uac-232/ Аудиокарта с технологией 32 bit float.
6. https://www.canon.ru/video-cameras/eos-c70/ Кинокамера Canon EOS C70.
7. https://www.yarkiy.ru/products/feiyu-pocket-3-combo-kamera-s-3-h-osevoy-stabilizatsiey-44056 Компактная видеокамера Pocket 3.
8. https://www.dji.com/ru/ronin-4d/master Многофункциональное съемочное устройство DJI Ronin 4D.
9. https://cover.punch.ru/ Панч - сервис нейросетевых генераций.
10. https://pixai.art/ Другой сервис нейросетевых генераций.
11. https://www.audiomania.ru/content/novaya-sistema-wireless-me-ot-rode/ Материал про беспроводную микрофонную систему Rode Wireless ME.
12. https://www.maono.com/products/real-time-monitoring-and-mute-2-person-wireless-lavalier-mic-maono-wm820-a2?variant=39993178456129 Материал про беспроводную микрофонную систему Maono WM820.
13. https://habr.com/ru/articles/400103/ Статья про Gatebox.
14. https://drtechno.ru/?page=news&Id=253 Еще один материал про Gatebox.
15. http://www.lipka.ru/portfolio/iii/ Скриншоты сайта iii.ru
16. https://insta360.ru/ Сайт компании Insta360.
17. https://www.youtube.com/watch?v=R1RoKtf_k64 Игра на Roli и Osmose.
18. https://www.youtube.com/watch?v=2RTpZy5p_jc Еще один пример игры.
19. https://www.youtube.com/watch?v=Y-TQnnMV1sI Видеоблог про панорамную 360-градусную камеру.