3-4 года назад «Яндекс.Картинки» стали лучшим поисковым сервисом по изображениям. С ним не сравнится ни Tineye, ни Google, ни Bing.
Поиск по изображениям «Яндекс» способен анализировать лица, строения, кадры из фильмов, природные виды, ему по силам определить место по фону (если прежде предварительно первый план приходилось замылить, то сегодня эта опция доступна на странице поиска).
«Яндекс.Картинки» идентифицируют типы автомобилей, да и вообще любую технику с потрясающей точностью. Допустим, вы увидели в фильме необычную машину. Независимо от ракурса съемки поиск авто по скриншоту наверняка даст 100% точный результат.
Поиск по картинкам запущен «Яндексом» в 2013 г. Тогда он назывался «Сибирь», от CBIR — Content-Based Image Retrieval. Принцип поиска «Яндекса» строился на собственном методе индексирования, который позволял сократить количество изображений, релевантных поисковому запросу.
Как работает нейросеть?
Картинка разбивается на маленькие участки, вплоть до нескольких пикселей, каждый из которых будет входным нейроном. С помощью синапсов сигналы передаются от одного слоя к другому. Во время этого процесса сотни тысяч нейронов с миллионами параметров сравнивают полученные сигналы с уже обработанными данными. Проще говоря, если мы хотим распознать ежа, нейросеть разобьет его фотообраз на кусочки и будет сравнивать эти слои с миллионами уже имеющихся изображений ежей и других мелких млекопитающих, значения признаков которых сеть выучила.
И все же результаты ревес-поиска «Яндекс.Картинок» порой противоречивы и – необъяснимы. «Логику» поисковой машины сложно понять. Наверняка у каждого, кто более-менее постоянно ищет людей в «Я-К», выпадали странные результаты.
О некоторых парадоксах известно давно. К примеру, сегодня машина выдает искомый результат, через неделю наотрез отказывается его повторить – на той же исходной картинке. И дело не в каких-то фильтрах, цензуре или прочих внешних факторах. Есть мнение, что непрерывно обучаясь новому, нейросеть стирает старые результаты, не запоминая их. Нейросеть либо «цементируется» и не может обучатся, либо обучается новому ценой потери старых данных.
Последовательный поиск по похожим фотографиям, например, с целью найти более точную локацию объекта, приводит к вашей временной блокировке по IP: «Яндекс» перестает загружать картинки, по которым вы ищете, считая, что имеет дело с ботом. Вернуть поиск помогает режим инкогнито в Chrome, VPN Opera и т. д. Но через VPN инкогнито не работает.
«Я так вижу»
Поиск неуверенно работает по черно-белым фото. Если убрать цвет из картинки, результаты поиска будут, мягко говоря, неожиданными, далекими от исходного.
Очки — вот этот элемент разом разрушает всю магию поиска. «Я-К» не сможет найти другие фото человека без очков, если на исходном кадре он был в очках. В выборке будут только люди в очках, но не тот, кого вы ищите. Феноменально влияет на поиск рыжий цвет волос. Машина начинает искать только медноволосых — и точка.
Странно работает поиск по чернокожим. Сеть старательно ищет, но если перед вами не известный медийный персонаж, то...
«Она что-то знает»
Немного о странностях поиска «Яндекс.Картинок», которые сходу не объяснить.
...Вы ищите человека по не очень четкой фотографии анфас. У вас один снимок и достоверный факт, что этот человек родился в 70-х годах в п.Слюдянка. Итог поиска неудовлетворительный, найти другие его снимки не удалось, только в результатах отчего-то появляются люди, живущие рядом с Байкалом. В исходном запросе данная информация отсутствует. Вы этот факт просто держали в уме, ни с кем не обсуждали, слово «Байкал» нигде не звучало. А на экране – лица людей из Байкальска и т.д.
Другой случай: человек живет в Москве, родился в Подмосковье, ни сном ни духом про Поволжье, хотя известно, что ее бабушка родом с берегов Волги. В результатах поиска отчего-то преобладают жители нашей и соседней республик. При этом в лице очаровательной «цели» нет ни малейшего намека на характерные физиогномические особенности местных жителей.
Настоящая крипота начинается, когда в поиске вместо искомого человека появляются его знакомые или друзья. А нашего объекта в результатах нет и в помине.
Впрочем «глюки матрицы» встречаются редко.
Что видит нейросеть, по каким точкам она ведет поиск? Почти нет сомнения, что в поиск «Яндекс.Картинок» встроена система распознавания лиц, столь же совершенная, как нейросеть FindFace. Но, может, она уже знает нечто большее, о чем мы не догадываемся?