README_cn.md

English | 中文

PaddleVideo

简介

PaddleVideo飞桨视频模型开发套件，旨在帮助开发者更好的进行视频领域的学术研究和产业实践。

特性

• 模块化设计 PaddleVideo 基于统一的视频理解框架，使用模块化设计，将各部分功能拆分到不同组件中进行解耦。可以轻松的组合、配置和自定义组件来快速实现视频算法模型。

• 更多的数据集和模型结构 PaddleVideo 支持更多的数据集和模型结构，包括Kinectics400，ucf101，YoutTube8M等数据集，模型结构涵盖了视频分类模型TSN，TSM，SlowFast，AttentionLSTM和视频定位模型BMN等。

• 更高指标的模型算法 PaddleVideo 提供更高精度的模型结构解决方案，在基于TSM标准版改进的PPTSM上，达到2D网络SOTA效果，Top1 Acc 73.5% 相较标准版TSM提升3%且模型参数量持平。

• 更快的训练速度 PaddleVideo 提供更快速度的训练阶段解决方案，在SlowFast标准版上，训练速度相较于pytorch提速100%。

• 全流程可部署 PaddleVideo 提供全流程的预测部署方案，支持PaddlePaddle2.0动转静功能，方便产出可快速部署的模型，完成部署阶段最后一公里。

套件结构概览

Architectures	Frameworks	Components	Data Augmentation
Recognition TSN TSM SlowFast PPTSM VideoTag AttentionLSTM Localization BMN	Recognizer1D Recognizer2D Recognizer3D Localizer Backbone resnet resnet_tsm resnet_tweaks_tsm bmn Head tsm_head tsn_head bmn_head	Solver Optimizer Momentum RMSProp LearningRate PiecewiseDecay Loss CrossEntropy BMNLoss Metrics CenterCrop MultiCrop	Batch Mixup Cutmix Image Resize Flipping MultiScaleCrop Crop Color Distort Random Crop Image Mixup Cutmix

模型性能概览

视频分类模型在Kinectics-400数据集上Acc Top1精度和单卡Tesla V100上预测速度(VPS)对比图。

说明：

• 红色文字描述为PaddleVideo提供的模型，黑色文字描述为Pytorch实现
• PPTSM在TSM标准版上精度提升3.5%，预测速度也略有增加。
• 图中红色描述的模型均可在模型库中获取

欢迎加入PaddleVideo技术交流群

• 微信扫描二维码加入官方交流群，获得更高效的问题答疑，与各行各业开发者充分交流，期待您的加入。

文档教程

入门教程

• 安装说明
• 快速开始
• benchmark
• 工具

进阶教程

• 模型库整体设计
• 配置模块设计
• PPTSM实践
• 训练加速方案
• 预测部署
• 自定义开发 ^{coming soon}

模型库

• 视频分类 介绍
  • Attention-LSTM
  • TSN
  • TSM
  • PPTSM
  • SlowFast
• 动作定位 介绍
  • BMN
• 时空动作检测：
  • Coming Soon!

许可证书

本项目的发布受Apache 2.0 license许可认证。

贡献

我们欢迎您的任何贡献并感谢您的支持，更多信息请参考 contribution guidelines.