CRS NEWS
Сингапурские ученые создают революционный световой датчик для 3D голографической связи
Ученые из Сингапура разработали новый световой датчик с уникальной угловой разрешающей способностью - 0.0018°. Он обладает множеством потенциальных применений, но наиболее интересной обещает стать объемная голографическая связь - по образцу той, что мы видим в "Звездных войнах". Собственно, к этому подталкивает врожденное бинокулярное зрение человека, для которого объемное изображение естественно более информативно, чем плоский экран без глубины сцены.
Световое поле – это весьма полный набор данных о сцене или поле зрения, таких как направление распространения света (угол обзора) и его интенсивность в этом направлении. От каждого видимого нам объекта в поле зрения отражаются лучи света с их цветом и интенсивностью. Каждый глаз видит и захватывает эти лучи с непревзойденной разрешающей способностью, а окончательная картина собирается в нашем мозгу. Мы видим все без "пикселей" - как непрерывное изображение.
Технология все еще сложна. Сенсоры с таким же разрешением, как у глаз, и способностью захватывать лучи под разными углами просто не существуют, и даже те, которые есть - с относительно низким разрешением - требуют поддержания при высокой вычислительной нагрузке. На фото ниже показан 17-дюймовый стереоскопический дисплей светового поля от JDI Japan в качестве примера, с 8K стереоскопическим видеоплеером справа от него.
Исследователи из Национального университета Сингапура использовали перовскит - необычный и в какой-то мере ожидаемый материал - для создания высокочувствительного датчика светового поля. За последнее десятилетие перовскит считался многообещающим полупроводником для фотовольтаических применений и не только. Одно из его интересных свойств - это способность менять свою чувствительность в широком диапазоне электромагнитных волн от ультрафиолетового до видимого и далее до рентгеновских лучей с помощью примесей.
Кстати, это также важный фактор в новой разработке. Представьте себе хирургическое устройство, способное точно сканировать глубину человеческого тела и конструировать трехмерное изображение для хирурга во время операции. Ранее разработанные датчики светового поля не были способны на это.
Ученые из Сингапура нанесли массив наносенсоров перовскита на тонкую, прозрачную подложку. Еще один наносенсор перовскита они прикрепили перпендикулярно к каждому сенсору (чтобы собрать больше информации о световом сигнале), а под подложку они поместили обычный цветной CCD. Суть разработки в том, что каждый нано-датчик светится определенным цветом для строго определенного угла падения света. Таким образом, угол падения света кодируется цветом, который отлично читает матрица CCD.
[ПЗС-матрица (сокр. от «прибор с зарядовой связью»), или CCD-матрица (сокр. от англ. CCD, «charge-coupled device») — специализированная аналоговая интегральная микросхема, состоящая из светочувствительных фотодиодов, выполненная на основе кремния, использующая технологию ПЗС — приборов с зарядовой связью.
ПЗС-матрицы выпускались и активно использовались компаниями Nikon, Canon, Sony, Fujitsu, Kodak, Panasonic, Philips и многими другими. В России ПЗС-матрицы сегодня разрабатывают и выпускают: ОАО «ЦНИИ „Электрон“» (г. Санкт-Петербург) и его дочернее предприятие АО «НПП „Элар“» (г. Санкт-Петербург,) а также ОАО «НПП „Пульсар“» (г. Москва).]
По словам разработчиков, это позволяет записывать световое поле сцены с непревзойденной угловой разрешающей способностью - перспективно меньше чем 0.015° и спектральной чувствительностью от 0.002 нм до 550 нм. Альтернативные разработки далеки от таких показателей, как сообщается в недавнем выпуске Nature.
"В настоящее время детекторы светового поля используют массив линз или фотонных кристаллов для создания нескольких изображений одного и того же пространства с разных углов. Однако интеграция этих элементов в полупроводники для практического использования является сложной и дорогостоящей задачей," - объяснил профессор Лю Сяоганг. - "Традиционные технологии могут обнаруживать световые поля только в диапазоне длин волн от ультрафиолетового до видимого света, что приводит к ограниченным применениям в обнаружении рентгеновских лучей".
Разработчики уже подали заявку на международный патент на изобретение. В будущем они сосредоточатся на методах увеличения пространственной точности и разрешения их датчика светового поля, например, используя детекторы цвета более высокого класса.
Пенсильванский университет разрабатывает устройство захвата изображений, работающее как человеческий глаз
Ученые из Пенсильванского государственного университета (США) представили уникальное устройство для фиксации изображений, принцип работы которого аналогичен работе человеческого глаза. Новшество заключается в сочетании искусственной нейронной сети и перовскитных фоторецепторов с узким спектром, обрабатывающих визуальные сигналы и формирующих изображения высокого качества.
Фоторецепторы функционируют по принципу колбочек в сетчатке человека, способных воспринимать красный, синий и зеленый свет и обеспечивать их смешивание, что приводит к созданию триады цветов, видимой нам. По этой причине разработчики выбрали концепцию, предложенную самой природой, создав устройство, имитирующее структуру человеческой сетчатки. Точно так же, как в глазу человека, перовскитные фоторецепторы передают электрические сигналы в разветвленную нейронную сеть.
В свою очередь, искусственная нейронная сеть применяет нейроморфные алгоритмы – уникальные программы, моделирующие способность мозга человека трансформировать электрические сигналы в визуальные изображения. В результате данное устройство формирует изображение объекта аналогично тому, как наш мозг создает визуальное впечатление на основе сигналов от сетчатки. Так как перовскитные фоторецепторы по функциональности схожи с солнечными батареями, они генерируют энергию для работы устройства, захватывая свет.
Вследствие этого, система захвата изображений способна функционировать даже без использования батареи, а на основе нее в перспективе можно разработать камеры, работающие от автономного источника питания. Более того, авторы устройства заявляют, что компоненты их изобретения могут быть использованы для создания искусственной сетчатки и синтетических клеток глаза в медицине, помогая людям, столкнувшимся с потерей зрения. Однако перед тем, как воплотить эти впечатляющие возможности в реальность, изобретателям необходимо провести дополнительные исследования.
Cyberpunk 2077: предположительная новая графическая функция для предстоящего DLC
Релиз Cyberpunk 2077 в 2020 году оказался непростым испытанием, однако команда разработчиков неустанно трудилась над устранением ошибок, расширением и улучшением функционала игры в течение весьма сжатого периода времени. Сейчас предполагается, что NVIDIA и CD Projekt RED трудятся над интеграцией нового элемента, который характеризуется как «кэширование радианса в реальном времени».
К настоящему моменту игра обладает поддержкой трассировки лучей, которая уже обновлена до полноценной версии, включающей режим RT:Overdrive. Cyberpunk 2077 входит в число немногих игр, которые поддерживают все существующие технологии масштабирования: DLSS3, FSR2 и XeSS. Известно, что CapFrameX утверждает, что игра может быть обновлена новым методом под названием Real-time Neural Radiance Caching for Path Tracing. Этой теме посвящена статья, опубликованная специалистами NVIDIA в 2021 году. В общем, это подход, заменяющий заранее проведенное обучение модели на адаптацию на основе обобщения. Это означает, что модель не будет предварительно настроена на конкретные поверхности, с которых отражаются источники света, вместо этого, она будет приспосабливаться к условиям и обучаться в процессе рендеринга.
Данное кэширование радианса в реальном времени имеет потенциал для отслеживания пути глобального освещения, что обеспечивает динамическое предсказание контента. Эта технология является высокопроизводительной и требует установленной аппаратной поддержки, такой как тензорные ядра.
Необходимо подчеркнуть, что на текущий момент ни NVIDIA, ни CD Projekt RED не дали официальных заявлений о возможности внедрения данной технологии в игру. Ожидается, что эта функция может быть включена в грядущий DLC Phantom Liberty, запуск которого, как предполагается, состоится в июне.
Бесплатная нейросеть, специализирующаяся на NSFW контенте (и не только!), запускается в России без цензуры (+ мини-гайд)
То, о чем мы мечтали, теперь реальность! Высококачественная нейронная сеть для изображений (особенно хорошо обученная на NSFW-контенте), работающая абсолютно бесплатно, в России, и даже без цензуры!
Что такое Unstable Diffusion?
Примерно в то же время, когда начала набирать популярность нейронная сеть Midjourney, появился аналогичный сервер в Discord с собственной нейронной сетью, которая была особенно обучена для NSFW-контента, практически без цензуры и, что самое главное, абсолютно бесплатна!
Похоже, им удалось разрешить все юридические вопросы и продолжить развитие своего проекта, и теперь, спустя много месяцев, они не только снова открыли свою нейронную сеть бесплатно для всех, но и создали удобный сайт для ввода параметров с историей генерации!
Сразу скажу, не пугайтесь того, что эта нейросеть как бы специально для NSFW, это не так! Она может вполне прилично рисовать почти что угодно почти так же хорошо, как Midjourney и, если вы не хотите, вы никогда не увидите на их сервере ничего непристойного и сами случайно не создадите такого!
Мини-гайд
- Перейдите на сайт и зарегистрируйтесь
- Там мы видим следующие базовые настройки:
Prompt - здесь мы пишем на английском, что мы хотим видеть, единственный обязательный параметр
Exclude - здесь то, что мы не хотим, например, nsfw или nude, чтобы не было всякой ерунды
Genre - тип изображения, есть фото, аниме, цифровое и универсальное (Generalist)
Далее идет соотношение сторон и количество изображений, которые вы хотите создать, в общем, это все! Если вы опытный пользователь, можно заглянуть в настройки:
Sampler и Sampler Strength - там можно поиграться с цветовой гаммой образца
High Frequency Detail - здесь с количеством мелких деталей
Saturation - и здесь с насыщенностью цвета
Когда вы что-то рисуете, сверху появляются две важные кнопки:
Левая генерирует снова с теми же параметрами, правая загружает в поля то, что использовалось для генерации
Где найти готовые запросы?
Для действительно красивого рисунка обычно требуется написать подробное и сложное описание запроса, это сложнее, чем написать "милая девушка лежит на пляже".
Хотя это часто и достаточно.
Так где же мы получаем готовые красивые запросы? Пока найдены два способа:
- На официальном сервере под некоторыми картинками можно кликнуть на эмодзи с лупой и вам придет запрос в личку, очень удобно!
- На этом сайте можно посмотреть какие-то работы в Stable Diffusion (не важно, что нейронка другая) насколько я понимаю и у большинства написаны используемые запросы.
Бесплатная версия нейросети имеет ограничение на количество попыток в день: каждый пользователь может создать не более 100 изображений при наличии 100 кредитов. В то же время, платные пользователи получают ряд преимуществ, включая ускоренную генерацию и возможность создания изображений без ограничений.
Adobe представляет новый инструмент на основе ИИ для редактирования изображений в Photoshop
Adobe обогатила свой ведущий графический редактор Photoshop новым мощным инструментом, называемым Generative Fill. Это революционное решение позволяет пользователям с легкостью добавлять или удалять элементы из изображения, используя текстовые команды на английском языке.
Generative Fill оперирует на качественно новом уровне, благодаря использованию технологии генеративных моделей, разработанных Adobe Firefly. Этот инструмент способен вникнуть в контекст изображения и мастерски заполнить пустые пространства или убрать нежелательные объекты, подставляя детали, которые идеально сочетаются с остальными элементами.
В настоящее время Generative Fill доступен для ознакомления в бета-версии Photoshop для подписчиков Creative Cloud и пользователей, использующих пробную версию. Тем не менее, Adobe предлагает познакомиться с новой функцией в режиме реального времени через специальный модуль в бета-версии Firefly.
Adobe гарантирует, что Firefly создан с целью производства изображений, пригодных для коммерческого использования без нарушения авторских прав. В основу обучения Firefly положены сотни миллионов качественных лицензированных фотографий из Adobe Stock, исключающих использование интеллектуальной собственности сторонних лиц или брендов.
Firefly предлагает целый арсенал инструментов, основанных на ИИ, для редактирования изображений. Одним из звездных примеров является Generative Fill. Эта передовая технология заливки использует всю мощь генеративного ИИ, чтобы, например, продолжить рисунок фона на фотографии, устранить нежелательные элементы или полностью преобразовать фон, акцентируя внимание на основном объекте. Generative Fill также может добавить детали в выделенную область с помощью запросов, составленных на естественном языке или промптах. Пока Generative Fill доступен исключительно в бета-версии Photoshop.
Кроме нового инструмента, Adobe представила обновленную публичную версию приложения. Она включает в себя ряд новых функций, таких как Adjustment Presets - пресеты фильтров для изображений, Remove Tool - инструмент, который с помощью ИИ выделяет и удаляет лишний объект на фото, Contextual Task Bar - контекстное меню с рекомендациями по последующим действиям, а также обновленный инструмент для создания градиентов, предлагающий больше гибкости.