Исследователи из компании Microsoft и Университета Центрального Китая разработали новый высокопроизводительный метод отслеживания нескольких объектов на видео с использованием технологий машинного обучения - FairMOT (Fair Multi-Object Tracking). Код с реализацией метода на базе Pytorch и натренированные модели опубликованы на GitHub.

Большинство существующих методов отслеживания объектов используют два этапа, каждый из которых реализуется отдельной нейронной сетью. На первом этапе выполняется модель определения местоположения интересующих объектов, а на втором этапе используется модель поиска ассоциаций, применяемая для повторной идентификации объектов и привязки к ним якорей.

В FairMOT применяется одноэтапная реализация на базе деформируемой свёрточной нейронной сети (DCNv2, Deformable Convolutional Network), которая позволяет добиться заметного повышения скорости отслеживания объектов. FairMOT работает без привязки якорей, используя механизм реидентификации для определения смещений центров объектов на высокоточной карте объектов. Параллельно выполняется обработчик, оценивающий индивидуальные черты объектов, которые могут использоваться для предсказания их идентичности, а основной модуль выполняет сведение указанных черт для манипуляций объектами разного масштаба.



Для обучения модели в FairMOT использовалась комбинация из шести публичных наборов данных для обнаружения и поиска людей (ETH, CityPerson, CalTech, MOT17, CUHK-SYSU). Модель была протестирована с использованием проверочных подборок видео 2DMOT15, MOT16, MOT17 и MOT20, предоставляемых проектом MOT Challenge и охватывающих различные ситуации, движение или вращение камеры, различные углы обзора. Проведённое тестирование показало, что FairMOT опережает наиболее быстрые конкурирующие модели TrackRCNN и JDE при тестировании на видеопоках с частотой 30 кадров в секунду, демонстрируя производительность, достаточную для анализа обычных видеопотоков на лету.