Multiple Object Tracking with Correlation Learning

[JunnHan]

Abstract

  卷积神经网络在目标检测与外观特征提取方面可谓是不可或缺的部分，但是卷积操作自身的局部感知能力在一定程度上限制了时空长期依赖关系的获取。空间部分，利用局部相关(local correlation)模块来对目标与其周围环境的 拓扑关系进行建模，提升在拥挤场景下的可区分性。对每个空间位置内容都建立稠密的关系，并利用自监督学习来约束相关量。时间部分，提出了一个可学习的相关操作，基于不同层的特征图建立帧间的匹配关系，实现时间信息的对齐与传播。最后在MOT上小刷一波，直接76.5的MOTA，起飞。

[JunnHan]

Introduction

  现有的联合目标检测与重识别的方法受制于局部描述子，很难做到良好的区分相似的目标，本文提出的相关网络能够学习拓扑结构。更好地描述空间信息。此外，虽然近期有像CenterTrack和TubeTK等联合多帧进行跟踪的方法，但卷积神经网络自身的局部感受野问题仍然是制约性能提升的原因，并且目标检测方法仍然保持着功能上的相对独立，没有从跟踪任务中获益。

  总结来说，本文的主要贡献如下：

• 提出了一个统一的相关跟踪器，建立了目标间的关系，并利用数据关联完成信息的传递；
• 提出局部结构感知(local structure-aware)网络，利用自监督增强相似目标的可区分性；
• 将局部相关网络拓展至对时间信息进行建模。

[JunnHan]

Methodology

[JunnHan]

Experiments