Дмитрий Семенов (компьютерное зрение, IT разработка)

Когда мы смотрим на картинку, нам кажется очевидным, где начинается один человек и заканчивается другой. Но для компьютера это задача не из простых. Чтобы он мог разобраться в сцене, его нужно научить видеть не просто цвета и формы, а понимать структуру — кто есть кто и что находится где. Одним из важных шагов в этом направлении является instance segmentation , или сегментация экземпляров. Это метод машинного зрения, который позволяет выделить каждый отдельный объект на изображении, даже если они относятся к одному классу...

Когда человек смотрит на фотографию, он за долю секунды понимает, что на ней изображено. Дом, дерево, машина — всё легко узнаётся. Компьютер так не умеет. Для него изображение — это просто таблица чисел. Чтобы разобраться в этом хаосе, компьютеру нужны опорные точки. Их называют keypoints — ключевые точки изображения. Сегодня разберём, что такое keypoints, как они работают, зачем нужны, и где используются. -- Если у вас есть задача, связанная с компьютерным зрением, напишите мне в телеграм: https://t...

Представьте камеру наблюдения, направленную на пустую парковку. В кадре — ничего не происходит. Потом появляется человек, и мы сразу его замечаем. Компьютеру же, чтобы сделать то же самое, нужно сначала научиться отличать фон — то, что там «всегда было» — от нового, подвижного объекта. Это особенно важно в видеонаблюдении, при подсчёте людей или машин, в контроле на производстве. Если система будет реагировать на каждый пиксель, который изменился, она завалит оператора ложными тревогами — из-за колышущихся деревьев, смены освещения, капель дождя...

Когда мы смотрим на любой предмет, наш мозг сразу же отделяет его от фона. Мы не думаем о том, где заканчивается чашка и начинается стол. Мы просто видим. А вот компьютер — не видит. Ему нужно сначала всё просчитать. Если мы хотим, чтобы алгоритм распознал объект на изображении, первый логичный шаг — найти его границы. Контуры. Это как обводка — аккуратная линия, которая идёт по краю предмета. Контур — это основа. Без него нейросети сложнее разобраться, где объект, а где фон. Без него нельзя измерить размеры детали, нельзя точно очертить опухоль на снимке, нельзя отслеживать движение силуэта...

Когда человек смотрит на фотографию, мозг автоматически и мгновенно выделяет объекты. Мы без труда определяем: вот человек, вот собака, вот велосипед. При этом мы интуитивно понимаем, где заканчивается один объект и начинается другой. У компьютера всё иначе. Он не «видит» изображение так, как мы. Для него это просто массив чисел, представляющих яркость или цвет пикселей. Чтобы научить машину распознавать объекты, сначала нужно объяснить, где именно эти объекты находятся на изображении. И здесь в игру вступают bounding boxes — прямоугольники, которые обводят объекты на изображении...