mask r cnn обучение

Записная книжка

Компьютерное зрение, машинное обучение, нейронные сети и т.п.

Mask R-CNN

Разберём статью [1], в которой описана сеть, решающая задачу сегментации экземпляра объекта (object instance segmentation). Авторы предлагают сеть, которую они назвали Mask R-CNN. Mask R-CNN берёт за основу Faster R-CNN и добавляет к ней дополнительную ветвь. Эта ветвь на выходе должна выдать маску объекта в дополнение к ограничивающему прямоугольнику и классу.

Вначале вспомним Faster R-CNN сеть из [2].

Она состоит из трёх частей:

Генератор особенностей (features extractor), который, получив на вход изображение, выдаёт 3х-мерный тензор особенностей. При этом каждому вектору особенностей из этого тензора соответствует некоторый прямоугольник исходного изображения. В качестве такого генератора может выступать, например, сеть VGG16 или ResNet101 без полносвязных слоёв.

Region Proposal Network (RPN). Сеть, которая получив на вход тензор особенностей, генерирует некоторое количество регионов, в которых предположительно есть объекты

3.1. класс объекта (возможно, что класс будет background)

3.2. уточнённый прямоугольник объекта

Важно сделать несколько замечаний об отличии Mask R-CNN подхода от случая сегментации изображения.

Вернёмся к Mask R-CNN сети.

Большая часть Faster R-CNN схемы сохранена (генератор особенностей, RPN, полносвязные слои для получения класса объекта и уточнения прмоугольника). Класс и прямоугольник объекта сеть выдаёт в виде векторов небольшой размерности (для класса это вектор вероятностей, для прямоугольника вектор свигов координат), и их логично генерировать, используя полносвязные слои. Однако, маску, которая по сути бинарное изображение, естественно генерировать, сохраняя пространственную структуру, имеющуюся в тензоре особенностей. А значит вместо полносвязных слоёв будем использовать свёрточные. Это в том числе позволит уменьшить число параметров, а значит упростит тренировку.

RoIAlign

Еще одно изменение в структуре сети, связанное с желанием получить маску объекта, это замена RoIPool слоя на RoIAlign. RoIPool слой появился в Fast R-CNN и был в некотором смысле упрощением подхода SPPooling из [4]. Для каждого RoI на тензор особенностей накладывалась сетка с фиксированным числом ячеек (например, 7×7) и к каждой ячейке сетки применялся MaxPooling, таким образом для каждого прямоугольника претендента получался тензор особенностей, но уже фиксированных пространственных размерностей (те самые 7×7). Проблема в том, что при извлечении особенностей для прямоугольника при помощи RoIPool процедуры, координаты прямоугольника округляются, а ячейки на которые разбит RoI выравниваются по границам особенностей. В случае когда мы хотим только получить класс объекта и его расположение на изображении, такой “не точный” подход нас вполне устраивает, поскольку данные характеристики объекта устойчивы к малым сдвигам. Однако, для получение маски это упрощение не даёт достаточной точности.

Для наглядности рассмотрим простую ситуацию, когда на RoI накладывается сетка 2×2:

RoIPool после округления координат и выравнивания ячеек по границам особенностей выдаст следующий набор:

Утверждается (в [1] есть таблица с результатами тестов), что использование RoIAlign слоя улучшает качество работы сети, как относительно случая RoIPool, так и относительно случая использования подхода, который авторы называют RoIWarp (см. [5]). Причем прирост качества относительно RoIPool составляет порядка 7%.

Со структурой сети разобрались, осталось понять как изменится штрафная функция и процедура тренировки. В случае Faster R-CNN штрафная функция состояла из двух слагаемых:

Заключение

Данный подход в рамках решения задачи instance segmentation даёт очень хорошие результаты. В качестве примера несколько картинок из статьи [1]:

Ограничения относительно обычной сегментации также понятны, большие протяженные объекты, например, дороги, таким образом искать будет трудновато.

Литература

Kaiming He, Georgia Gkioxari, Piotr Dollar, Ross Girshick, “Mask R-CNN”. arXiv:1409.4842 2017-2018

S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN: Towards real-time object detection with region proposal networks,” in Neural Information Processing Systems (NIPS), 2015.

E. Shelhamer, J. Long, T. Darrell, “Fully Convolutional Networks for Semantic Segmentation.” arXiv:1605.06211 2016

K. He, X. Zhang, S. Ren, J. Sun, “Spatial pyramid pooling in deep convolutional networks for visual recognition.” arXiv:1406.4729, 2014

K. He, J. Dai, J. Sun, “Instance-aware Semantic Segmentation via Multi-task Network Cascades” arXiv:1512.04412, 2015

Источник

ConvNets. Создание прототипа проекта с помощью Mask R-CNN

Привет, Хабр! Мы, наконец, дождались еще одной части серии материалов от выпускника наших программ “Специалист по большим данным” и “Deep Learning”, Кирилла Данилюка, об использовании популярных на сегодняшний день нейронных сетей Mask R-CNN как части системы для классификации изображений, а именно оценки качества приготовленного блюда по набору данных с сенсоров.

Рассмотрев в предыдущей статье игрушечный набор данных, состоящий из изображений дорожных знаков, теперь мы можем перейти к решению задачи, с которой я столкнулся в реальной жизни: «Возможно ли реализовать Deep Learning алгоритм, который мог бы отличить блюда высокого качества от плохих блюд по одной фотографии?». Вкратце, бизнес хотел вот это:

_{Что представляет бизнес, когда думает о машинном обучении:}

Это пример некорректно поставленной задачи: в данном случае невозможно определить, существует ли решение, уникально и устойчиво ли оно. К тому же сама постановка задачи очень расплывчата, не говоря уже о реализации ее решения. Конечно, данная статья не посвящена эффективности коммуникаций или управлению проектами, однако важно отметить: никогда не беритесь за проекты, в которых конечный результат не определен и зафиксирован в ТЗ. Один из наиболее надежных способов справиться с такой неопределенностью — это сначала построить прототип, а затем, использовав новые знания, структурировать всю остальную задачу. Именно так мы и поступили.

Постановка задачи

В своем прототипе я сосредоточился на одном блюде из меню — омлете — и построил масштабируемый пайплайн, который на выходе определяет «качество» омлета. Подробнее это можно описать следующим образом:

Главная цель пайплайна — научиться комбинировать несколько типов сигналов (например, изображения с разных ракурсов, теплокарту и т.д.), получив предварительно сжатое представление каждого из них и пропустив в дальнейшем эти фичи через нейросеть-классификатор для итогового предсказания. Так, мы сможем воплотить в жизнь наш прототип и сделать его практически применимым в дальнейшей работе. Ниже представлены несколько использованных в прототипе сигналов:

Общий взгляд на пайплайн

Отмечу, что мне придется пропустить несколько важных этапов, таких как разведочный анализ данных, построение базового классификатора и active labeling (мною предложенный термин, который обозначает полуавтоматическое аннотирование объектов, вдохновленный Polygon-RNN демо-видео) пайплайн для Mask R-CNN (подробнее об этом в следующих постах).

Взглянем на весь пайплайн в целом:

_{В данной статье нас интересуют этапы Mask R-CNN и классификации в рамках пайплайна}

Далее мы рассмотрим три этапа: 1) использование Mask R-CNN для построения масок ингредиентов омлета; 2) ConvNet классификатор на основе Keras; 3) визуализация результатов, используя t-SNE.

Этап 1: Mask R-CNN и построение масок

Mask R-CNN (MRCNN) в последнее время находятся на пике популярности. Начиная от исходной статьи Facebook-а и заканчивая Data Science Bowl 2018 на Kaggle, Mask R-CNN зарекомендовала себя как мощная архитектура для instance segmentation (т.е., не только попиксельной сегментации изображений, но и отделения нескольких объектов, принадлежащих к одному классу). К тому же, одно удовольствие работать с реализацией MRCNN от Matterport в Keras. Код отлично структурирован, имеет хорошую документацию и работает прямо из коробки, хоть и медленнее, чем ожидалось.

На практике, особенно при разработке прототипа, критически важно иметь предобученную свёрточную нейросеть. В большинстве случаев набор размеченных данных у data scientist-а весьма ограничен, либо его нет совсем, в то время как ConvNet требует большого количества размеченных данных, чтобы достигнуть сходимости (так, набор данных ImageNet содержит 1,2 млн размеченных изображений). Тут на помощь приходит transfer learning: мы можем зафиксировать веса свёрточных слоев и дообучить лишь классификатор. Фиксировать свёрточные слои важно для небольших датасетов, поскольку такая техника предотвращает переобучение.

Вот что я получил после первой эпохи дообучения:

_{Результат сегментации объектов: распознаны все ключевые ингредиенты}

На следующем этапе пайплайна (Process Inferenced Data for Classifier) необходимо вырезать ту часть изображения, которая содержит тарелку, и извлечь двумерную бинарную маску для каждого ингредиента на этой тарелке:

_{Кропы изображения с ключевыми ингредиентами в виде бинарных масок}

Эти бинарные маски затем комбинируются в 8-канальное изображение (поскольку я определил 8 классов масок для MRCNN), и мы получаем Сигнал №1:

_{Сигнал №1: 8-канальное изображение, состоящее из бинарных масок. В цвете для лучшей визуализации}

Чтобы получить Сигнал №2, я посчитал количество раз, которое каждый ингредиент встречается на кропе тарелки и получил набор векторов-признаков, каждый из которых соответствует своему кропу.

Этап 2: ConvNet классификатор в Keras

CNN классификатор был реализован с нуля, используя Keras. Я хотел скомбинировать несколько сигналов (Сигнал №1 и Сигнал №2, а также возможное добавление данных в будущем) и позволить нейросети по ним строить прогнозы относительно качества блюда. Ниже представленная архитектура является пробной и далека от идеала:

Несколько слов по поводу архитектуры классификатора:

Этап 3: визуализация результатов с помощью t-SNE

Для визуализации результатов работы классификатора на тестовых данных я использовал t-SNE — алгоритм, который позволяет перенести исходные данные в пространство меньшей размерности (чтобы понять принцип работы алгоритма, рекомендую прочитать статью-первоисточник, она чрезвычайно информативна и хорошо написана).

Перед визуализацией я взял тестовые изображения, извлек логит-слой классификатора и применил к данному датасету алгоритм t-SNE. Хоть я и не пробовал различные значения параметра перплексии, результат все равно выглядит вполне неплохо:

_{Результат работы t-SNE на тестовых данных с предсказаниями классификатора}

Конечно, данный подход неидеален, однако он работает. При этом возможных улучшений может быть довольно много:

Начните с малого: работающий прототип можно создать из нескольких игрушечных блоков кода, и он в разы увеличит продуктивность дальнейших бесед с руководством компании. В этом и заключается работа data scientist-а — предлагать бизнесу новые подходы и идеи.

20 сентября 2018 стартует “Специалист по большим данным 9.0”, где вы, помимо всего прочего, научитесь визуализировать данные и понимать бизнес-логику, скрывающуюся за той или иной задачей, что поможет эффективнее представлять результаты вашей работы коллегам и руководству.

Источник

Mask R-CNN от новичка до профессионала

Однажды мне потребовалось анализировать информацию с изображения и на выходе иметь тип объекта, его вид, а также, анализируя совокупность кадров, мне нужно было выдать идентификатор объекта и время пребывания в кадре, было нужно определять как перемещался объект и в поле зрения каких камер попадал. Начнем, пожалуй, с первых двух, о анализе кадров в совокупности речь пойдет в следующей части.

Ну так распишем подробнее наши задачи:

Ок, подумал я, и взял в руки толстую змею, python, значится. Было решено использовать нейронную сетку Mask R-Cnn в связи с ее простотой и современными характеристиками. Также, разумеется, для манипуляция с изображениями будем использовать OpenCV.

Установка среды

Будем использовать Windows 10, из-за того, что ты вероятнее всего, используешь именно ее.
Подразумевается, что у тебя уже присутствует 64 битный Python. Если же нет, то можно скачать пакет, например, отсюда

Установка пакетов

Если по какой-то причине не удается собрать из исходников, существует версия из pip:

К пакету, разумеется, поставятся все зависимости.

Этап 1. Создание простейшей программы-распознавателя.

Сделаем необходимые импорты

Нейросеть требует создания конфига с переопределенными полями

Укажем расположение файла с весами. Пусть в данном примере он будет лежать в папке с этим файлом. Если его нет, то он скачается.

Создадим нашу модель с настройками выше

И пожалуй, начнем обработку всех изображений в каталоге images в текущей директории.

Что же мы увидим в detections?

Например, что-то похожее:

В данном случае нашли 2 объекта.
rois — массивы координат левого нижнего и правого верхнего угла
class_ids — числовые идентификаторы найденных объектов, пока нам нужно знать, что 1 — человек, 3 — машина, 8 — грузовик.
scores — насколько модель уверена в решении, этот параметр можно отсеивать через DETECTION_MIN_CONFIDENCE в конфиге, отсекая все неподходящие варианты.
masks — контур объекта. Данные используются для рисования маски объекта. Т.к. они достаточно объемны, и не предназначены для понимания человеком, приводить в статье их не буду.

Ок, мы могли бы на этом остановиться, но мы же хотим посмотреть на изображение, которое обычно выдают гайды по использованию нейросеток с красиво выделенными объектами?

Функция будет принимать изображение, и основные параметры, полученные из словаря из первых шагов.

Хотя одним из основных преимуществ этой нейронной сети является решение задач Instance segmentation — получение контуров объектов, мы пока этим не воспользовались, разберем это.

Для реализации масок добавим пару строчек перед отрисовкой прямоугольника для каждого найденного объекта.

Результат:

Этап II. Первые успехи. Распознавание номеров машин.

Для распознавания нам нужен четкий кадр машины вблизи, поэтому было решено брать только кадры с КПП, а потом сравнивать на похожесть(об этом в следующей главе). Этот способ, правда, дает слишком большую неточность, т.к. машины могут быть очень похожими визуально и мой алгоритм пока не может избегать такие ситуации.

Было решено использовать готовую либу от украинского производителя nomeroff-net (не реклама). Т.к. почти весь код можно найти в примерах к модели, то приводить полное описание не буду.

Скажу лишь, что эту функцию можно запускать с исходным изображением или распознанную машину можно вырезать из кадра и подать в эту функцию.

Этап III. Опознаем объекты на схожесть.

Теперь нам нужно понять как фиксируя объект однажды, понимать, что это именно он на соседнем кадре. На данном этапе будем считать, что у нас всего лишь одна камера и будем различать только разные кадры с нее.

Для этого нужно узнать как мы будем проводить сравнение двух объектов.

Предложу для этих целей sift алгоритм. Оговоримся, что он не входит в основную часть OpenCV, поэтому нам необходимо доставить contrib модули дополнительно. К сожалению, алгоритм запатентован и его использование в коммерческих программах ограничено. Но мы нацелены на научно-исследовательскую деятельность, не так ли?

Пишем функцию, принимающую 2 сравниваемых объекта в виде матриц. Например, мы их получаем после вызова функции cv2.open(path)

Напишем реализацию нашего алгоритма.

Находим ключевые точки и дескрипторы с помощью SIFT. Пожалуй, хелп для этих функций приводить не буду, ведь его всегда его можно вызвать в интерактивной оболочке как help(somefunc)

Настроим наш алгоритм.

Теперь запустим его.

Посчитаем сходства между изображениями

А теперь, попробуем его использовать
Для этого, после обнаружения объектов, нам нужно их вырезать с исходного изображения

Я не смог написать ничего лучше, чем сохранить на медленную память, а потом уже оттуда считывать.

Теперь у нас есть объекты в каталоге /objectsOn

Теперь, если у нас есть как минимум 2 таких каталога, то мы можем сравнивать объекты в них. Запустим функцию, написанную ранее

Или мы можем сделать другое действие, вроде маркировки этих объектов одинаковым айдишником.

Конечно, как и все нейронные сети, эта склонна давать иногда ошибочные результаты.

В целом, мы выполнили 3 задачи, поставленные в начале, так что будем закругляться. Я сомневаюсь, что эта статья открыла глаза людям, которые написали хотя бы одну программу, решающую задачи image recognition/image segmentation, но я надеюсь, что я помог хотя бы одному начинающему разработчику).

Полный исходный код проекта можно посмотреть тут.

Источник

Mask R-CNN: архитектура современной нейронной сети для сегментации объектов на изображениях

Времена, когда одной из самых актуальных задач компьютерного зрения была способность отличать фотографии собак от фотографий кошек, уже остались в прошлом. На данный момент нейронные сети способны выполнять куда более сложные и интересные задания по обработке изображений. В частности, сеть с архитектурой Mask R-CNN позволяет выделять на фотографиях контуры («маски») экземпляров разных объектов, даже если таких экземпляров несколько, они имеют различный размер и частично перекрываются. Сеть так же способна к распознаванию поз людей на изображении.

В начале этого года мне довелось в учебных целях поучаствовать в соревновании Data Science Bowl 2018 на Kaggle. В учебных же целях мною была использована одна из тех моделей, которые великодушно выкладывают некоторые участники, занимающие высокие позиции. Это была нейросеть с архитектурой Mask R-CNN, разработанная недавно Facebook Research. (Стоит отметить, что победившая команда использовала всё-таки другую архитектуру — U-Net. Судя по всему, более подходящую для биомедицинских задач, к которым и относилось Data Science Bowl 2018).
Поскольку цель состояла в ознакомлении с задачами Deep Learning, а не занятии высокого места, после завершения соревнования осталось стойкое желание разобраться, как устроена использованная нейросеть «под капотом». Данная статья представляет обобщение сведений, полученных из оригинальных документов с arXiv.org и нескольких статей на Medium. Материал носит исключительно теоретический характер (хотя в конце есть ссылки про практическое применение), и большего, чем есть в указанных источниках, он не содержит. Но информации по теме на русском мало, так что, возможно, статья окажется кому-то полезной.

Все иллюстрации взяты из чужих источников и принадлежат их законным правообладателям.

Типы задач computer vision

Обычно современные задачи компьютерного зрения разделяют на четыре вида (не приходилось встречать переводы их названий даже в русскоязычных источниках, поэтому на английском, чтобы не создавать путаницу):

Эволюционность развития Mask R-CNN

Концепции, лежащие в основе в Mask R-CNN прошли поэтапное развитие через архитектуры нескольких промежуточных нейросетей, решавших разные задачи из приведённого выше списка. Вероятно, самый простой способ разобраться в принципах функционирования данной сети — последовательно рассмотреть все эти этапы.

Не останавливаясь на базовых вещах вроде backpropagation, функции нелинейной активации, и того, что из себя представляет многослойная нейронная сеть в целом, кратко пояснить, как работают слои Convolution Neural Networks, вероятно, всё-таки стоит (R-CNN же).

Convolution и MaxPooling

Сверточный (convolutional) слой позволяет объединять значения расположенных рядом пикселей и выделять более обобщённые признаки изображения. Для этого по картинке последовательно скользят квадратным окном небольшого размера (3х3, 5х5, 7х7 пикселей и т.п.) называемым ядром (kernel). Каждый элемент ядра имеет свой весовой коэффициент, умножаемый на значение того пикселя изображения, на который в данный момент наложен элемент ядра. Затем полученные для всего окна числа складываются, и эта взвешенная сумма даёт значение очередного признака.

Для получения матрицы («карты») признаков всего изображения, ядро последовательно сдвигается по горизонтали и вертикали. В следующих слоях операция свертки применяется уже к картам признаков, полученным из предыдущих слоёв. Графически процесс можно проиллюстрировать так:

Изображение или карты признаков в рамках одного слоя могут сканироваться не одним, а несколькими независимыми фильтрами, давая таким образом на выход не одну карту, а несколько (их ещё называют «каналами»). Настройка весов каждого фильтра происходит при помощи всё той же процедуры backpropagation.

Очевидно, если ядро фильтра при сканировании не выходит за пределы изображения, размерность карты признаков будет меньше, чем у исходной картинки. Если нужно сохранить тот же размер, применяют так называемые paddings — значения, которыми дополняется изображение по краям и которые потом захватываются фильтром вместе с реальными пикселями картинки.

Помимо paddings на изменение размерности так же влияют strides — значения шага, с которым окно перемещается по изображению/карте.

Свёртка не является единственным способом получения обобщённой характеристики группы пикселей. Самый простой способ для этого — выбрать один пиксель по заданному правилу, например — максимальный. Именно это и делает слой MaxPooling.

В отличие от convolution, maxpooling обычно применяется к непересекающимся группам пикселей.

Архитектура сети R-CNN (Regions With CNNs) была разработана командой из UC Berkley для применения Convolution Neural Networks к задаче object detection. Существовавшие на тот момент подходы к решению таких задач приблизились к масимуму своих возможностей и значимо улучшить их показатели не получалось.

CNN хорошо показывали себя в классификации изображений, и в данной сети они по сути были применены для того же самого. Для этого на вход CNN подавалось не всё изображение целиком, а предварительно выделенные другим способом регионы, на которых предположительно имеются какие-то объекты. На тот момент таких подходов было несколько, авторы выбрали Selective Search, хотя они указывают, что особых причин для предпочтения именно его нет.

В качестве CNN-сети использовалась так же готовая архитектура — CaffeNet (AlexNet). Такие нейросети, как и другие для набора изображений ImageNet, проводят классификацию на 1000 классов. R-CNN разрабатывалась для детектирования объектов меньшего количества классов (N= 20 или 200), поэтому последний классификационный слой CaffeNet был заменён на слой с N+1 выходами (с дополнительным классом для фона).

Selective Search выдавал около 2000 регионов разного размера и соотношений сторон, однако CaffeNet принимает на вход изображения фиксированного размера 227х227 пикселей, поэтому перед подачей регионов на вход сети их приходилось модифицировать. Для этого изображение из региона заключалось в наименьший охватывающий квадрат. Вдоль той (меньшей) стороны, по которой образовывались поля, добавлялось несколько «контекстных» (окружающих регион) пикселей изображения, оставшаяся часть поля ничем не заполнялась. Полученный квадрат масштабировался под размер 227×227 и подавался на вход CaffeNet.

Несмотря на то, что CNN тренировалась на распознавание N+1 классов, в итоге она использовалась только для извлечения фиксированного 4096-размерного вектора признаков. Непосредственным определением объекта на изображении занимались N линейных SVM, каждый из которых проводил бинарную классификацию по своему типу объектов, определяя есть ли такой в переданном регионе или нет. В оригинальном документе вся процедура иллюстрируется такой схемой:

Авторы утверждают, что процесс классификации в SVM происходит весьма производительно, представляя собой по сути просто матричные операции. Полученные из CNN векторы признаков объединяются по всем регионам в матрицу 2000х4096, которая затем умножается на матрицу 4096xN с весами SVM.

Надо отметить, что полученные при помощи Selective Search регионы только могут содержать какие-то объекты, и не факт, что содержат их целиком. Считать ли регион содержащим объект или нет, определялось по метрике Intersection over Union (IoU). Эта метрика представляет собой отношение площади пересечения прямоугольного региона-кандидата с прямоугольником, на самом деле обхватывающим объект, к площади объединения этих прямоугольников. Если отношение превосходит заданную пороговую величину, регион-кандидат считается содержащим нужный объект.

IoU так же использовался для отсеивания избыточного количества регионов, содержащих определённый объект (non-maximum suppression). Если IoU некоторого региона с регионом, получившим для того же объекта максимальный результат, был выше некоторого порога, первый регион просто отбрасывался.

В ходе процедуры error analysis авторы так же разработали метод, позволяющий уменьшить ошибку выделения охватывающей рамки объекта — bounding-box regression. После классификации содержимого региона-кандидата, при помощи линейной регрессии на основе признаков из CNN определялись четыре параметра — (dx, dy, dw, dh). Они описывали, насколько надо сдвинуть центр рамки региона по х и у, а также на сколько изменить её ширину и высоту, чтобы точнее охватывать распознанный объект.

Таким образом, процедуру детектирования объектов сетью R-CNN можно разделить на следующие шаги:

Fast R-CNN

Несмотря на высокие результаты, производительность R-CNN была всё же невысока, особенно для более глубоких, чем CaffeNet сетей (таких как VGG16). Кроме того, обучение bounding box regressor и SVM требовало сохранения на диск большого количества признаков, поэтому оно было дорогим с точки зрения размера хранилища.

Авторы Fast R-CNN предложили ускорить процесс за счёт пары модификаций:

Бинарные SVM не использовались, вместо этого выбранные признаки передавались на полносвязанный слой, а затем на два параллельных слоя: softmax с K+1 выходами (по одному на каждый класс + 1 для фона) и bounding box regressor.

Общая архитектура сети выглядит так:

Здесь:
— класс объекта, реально изображённого в регионе-кандидате;
– log loss для класса u;
– реальные изменения рамки региона для более точного охватывания объекта;
– предсказанные изменения рамки региона;
– loss-функция между предсказанными и реальными изменениями рамки;
– индикаторная функция, равная 1, когда , и 0, когда наоборот. Классом обозначается фон (т.е. отсутствие объектов в регионе).
– коэффициент, предназначенный для балансирования вклада обоих loss-функций в общий результат. Во всех экспериментах авторов документа, он, однако, был равен 1.

Авторы так же упоминают, что для ускорения вычислений в полносвязанном слое они использовали разложение матрицы весов по Truncated SVD.

Faster R-CNN

После улучшений, сделанных в Fast R-CNN, самым узким местом нейросети оказался механизм генерации регионов-кандидатов. В 2015 команда из Microsoft Research смогла сделать этот этап значительно более быстрым. Они предложили вычислять регионы не по изначальному изображению, а опять же по карте признаков, полученных из CNN. Для этого был добавлен модуль под названием Region Proposal Network (RPN). Новая архитектура целиком выглядит следующим образом:

В рамках RPN по извлечённым CNN признакам скользят «мини-нейросетью» с небольшим (3х3) окном. Полученные с её помощью значения передаются в два параллельных полносвязанных слоя: box-regression layer (reg) и box-classification layer (cls). Выходы этих слоёв базируются на так называемых anchor-ах: k рамках для каждого положения скользящего окна, имеющих разные размеры и соотношения сторон. Reg-слой для каждого такого anchor-а выдаёт по 4 координаты, корректирующие положение охватывающей рамки; cls-слой выдаёт по два числа – вероятности того, что рамка содержит хоть какой-то объект или что не содержит. В документе это иллюстрируется такой схемой:

Процесс обучения reg и cls слоёв объединённый; loss-функцию они имеют общую, представляющую собой сумму loss-функций каждого из них, с балансирующим коэффициентом.

Оба слоя RPN выдают только предложения для регионов-кандидатов. Те из них, которые имеют высокую вероятность содержания какого-либо объекта, передаются дальше в модуль детектирования объектов и уточнения охватывающей рамки, который по-прежнему реализован как Fast R-CNN.

Для того, чтобы разделять признаки, получаемые в CNN, между RPN и модулем детектирования, процесс обучения всей сети построен итерационно, с использованием нескольких шагов:

Mask R-CNN

Mask R-CNN развивает архитектуру Faster R-CNN путём добавления ещё одной ветки, которая предсказывает положение маски, покрывающей найденный объект, и, таким образом решает уже задачу instance segmentation. Маска представляет собой просто прямоугольную матрицу, в которой 1 на некоторой позиции означает принадлежность соответствующего пикселя объекту заданного класса, 0 — что пиксель объекту не принадлежит.

Визуализация разноцветных масок на исходных изображениях может давать красочные картинки:

Авторы документа условно разделяют разработанную архитектуру на CNN-сеть вычисления признаков изображения, называемую ими backbone, и head — объединение частей, отвечающих за предсказание охватывающей рамки, классификацию объекта и определение его маски. Loss функция для них общая и включает три компонента:

Выделение маски происходит в class-agnostic стиле: маски предсказываются отдельно для каждого класса, без предварительного знания, что изображено в регионе, и потом просто выбирается маска класса, победившего в независимом классификаторе. Утверждается, что такой подход более эффективен, чем опирающийся на априорное знание класса.

Одна из основных модификаций, возникших из-за необходимости предсказывать маску — изменение процедуры RoIPool(вычисляющей матрицу признаков для региона-кандидата) на так называемую RoIAlign. Дело в том, что карта признаков, полученная из CNN, имеет меньший размер, чем исходное изображение, и регион, охватывающий на изображении целочисленное количество пикселей, не получается отобразить в пропорциональный регион карты с целочисленным количеством признаков:

В RoIPool проблема решалась просто округлением дробных значений до целых. Такой подход нормально работает при выделении охватывающей рамки, но вычисленная на основе таких данных маска получается слишком неточной.

В противоположность этому, в RoIAlign не используется округление, все числа остаются действительными, а для вычисления значений признаков используется билинейная интерполяция по четырём ближайшим целочисленным точкам.

В оригинальном документе разница поясняется таким рисунком:

Здесь штрихованной сеткой обозначена карта признаков, а непрерывной — отображение на карту признаков региона-кандидата с исходной фотографии. В данный регион должно попасть 4 группы для max pooling по 4 признака, обозначенных на рисунке точками. В отличие от процедуры RoIPool, которая за счёт округления просто бы выровняла регион по целочисленным координатам, RoIAlign оставляет точки в их текущих местах, но вычисляет значения каждой из них при помощи билинейной интерполяции по четырём ближайшим признакам.

Билинейная интерполяция функции двух переменных производится за счёт применения линейной интерполяции сначала в направлении одной из координат, затем — в другой.
Пусть нужно интерполировать значение функции в точке P при известных значениях функции в окружающих точках (см. рисунок ниже). Для этого вначале интерполируются значения вспомогательных точек R1 и R2, а затем на их основе интерполируется значение в точке P.

Помимо высоких результатов в задачах instance segmentation и object detection, Mask R-CNN оказалась пригодной для определения поз людей на фотографии (human pose estimation). Ключевой момент здесь — выделение опорных точек (keypoints), таких как левое плечо, правый локоть, правое колено и т.п., по которым можно нарисовать каркас позиции человека:

Для определения опорных точек нейросеть обучают таким образом, чтобы она выдавала маски, в которых только один пиксель (та самая точка) имел значение 1, а остальные — 0 (one-hot mask). В то же время, сеть тренируется выдавать K таких однопиксельных масок, по одной для каждого типа опорной точки.

Feature Pyramid Networks

В экспериментах по Mask R-CNN, наряду с обычной CNN ResNet-50/101 в качестве backbone, также проводились исследования целесообразности использования Feature Pyramid Network (FPN). Они показали, что применение FPN в backbone даёт Mask R-CNN прирост как в точности, так и в производительности. Это делает полезным описание так же и данного улучшения, несмотря на то, что ему посвящён отдельный документ и с серией рассматриваемых статей он связан мало.
Назначение Feature Pyramids, как и image pyramids, — улучшение качества детектирования объектов с учётом большого диапазона их возможных размеров.

В Feature Pyramid Network карты признаков, извлечённые последовательными слоями CNN с уменьшающейся размерностью, рассматриваются как некая иерархическая «пирамида», называемая bottom-up pathway. При этом карты признаков и нижних, и верхних уровней пирамиды обладают своими преимуществами и недостатками: первые имеют высокое разрешение, но низкую семантическую, обобщающую, способность; вторые — наоборот:

Архитектура FPN позволяет объединить достоинства верхних и нижних слоёв при помощи добавления top-down pathway и lateral connections. Для этого карта каждого вышележащего слоя увеличивается до размера нижележащего и их содержимое поэлементно складывается. В итоговых предсказаниях используются результирующие карты всех уровней.

Схематично это можно изобразить так:

Увеличение размера карты верхнего уровня (upsampling) делается самым простым методом — nearest neighbor, т. е. приблизительно так:

Полезные ссылки

Оригинальные документы с исследованиями на arXiv.org:

На medium.com на тему Mask R-CNN достаточно много статей, они легко находятся поиском. В качестве ссылок привожу только те, что довелось прочитать:

6. Simple Understanding of Mask RCNN — краткое изложение принципов результирующей архитектуры.

7. A Brief History of CNNs in Image Segmentation: From R-CNN to Mask R-CNN — история развития сети в таком же хронологическом порядке, как в данной статье.

8. From R-CNN to Mask R-CNN — ещё одно рассмотрение этапов развития.

9. Splash of Color: Instance Segmentation with Mask R-CNN and TensorFlow — реализация нейросети в Opensource-библиотеке от компании Matterport.

Последняя статья помимо описания принципов Mask R-CNN предлагает возможность попробовать сеть на практике: для раскрашивания разными цветами воздушных шаров на чёрно-белых изображениях.

Помимо этого, попрактиковаться с нейросетью можно на той модели, что использовалась мной в соревновании Data Science Bowl 2018 на kaggle (но не только с одной этой моделью, разумеется; в разделах Kernels и Discussions можно найти много всего интересного):

10. Mask R-CNN in PyTorch by Heng CherKeng. Реализация предполагает ряд шагов по развёртыванию, инструкцию автор предоставляет. Модель требует PyTorch 0.4.0, поддержку GPU-вычислений, NVIDIA CUDA. Если собственная система не соответствует требованиям, могу порекомендовать образы Deep Learning AMI для виртуалок Amazon (инстансы платные, с почасовой тарификацией, минимальный подходящий размер, судя по всему, — p2.xlarge).

Мне также попадалась здесь, на хабре, статья про использование сети от Matterport в обработке изображений с блюдами (правда, без исходников). Надеюсь, автор будет только рад дополнительному упоминанию:

Источник