tsm.md

English | 简体中文

TSM

模型介绍

Temporal Shift Module (TSM) 是当前比较受关注的模型，通过通道移动的方法在不增加任何额外参数量和计算量的情况下极大的提升了模型对于视频时间信息的利用能力，并且由于其具有轻量高效的特点，十分适合工业落地。

本代码实现的模型为基于单路RGB图像的TSM网络结构，Backbone采用ResNet-50结构。

详细内容请参考ICCV 2019年论文 TSM: Temporal Shift Module for Efficient Video Understanding

数据准备

K400数据下载及准备请参考数据

UCF101数据下载及准备请参考数据

模型训练

• 加载在ImageNet1000上训练好的ResNet50权重作为Backbone初始化参数，请下载此模型参数 并解压，并将路径添加到configs中 BACKBONE字段下 或用-o 参数进行添加，-o MODEL.HEAD.pretrained="" 具体参考conifg

-下载已发布模型model, 通过--weights指定权重存 放路径进行finetune等开发

K400 video格式训练

K400 frames格式训练

UCF101 video格式训练

UCF101 frames格式训练

实现细节

数据处理： 模型读取Kinetics-400数据集中的mp4数据，每条数据抽取seg_num段，每段抽取1帧图像，对每帧图像做随机增强后，缩放至target_size。

训练策略：

• 采用Momentum优化算法训练，momentum=0.9
• l2_decay权重衰减系数为1e-4
• 学习率在训练的总epoch数的1/3和2/3时分别做0.1倍的衰减

参数初始化

模型测试

python3 main.py --test --weights=""

• 指定--weights参数，下载已发布模型model 进行模型测试

当取如下参数时，在Kinetics400的validation数据集下评估精度如下:

seg_num	target_size	Top-1
8	224	0.70

模型推理

python3 predict.py --test --weights=

参考论文

• TSM: Temporal Shift Module for Efficient Video Understanding, Ji Lin, Chuang Gan, Song Han