README_zh-CN.md

 

OpenMMLab 官网 ^HOT      OpenMMLab 开放平台 ^{TRY IT OUT}

 

📘使用文档 | 🛠️安装教程 | 👀模型库 | 🆕更新记录 | 🚀进行中的项目 | 🤔提出问题

English | 简体中文

介绍

MMEditing 是基于 PyTorch 的图像&视频编辑和生成开源工具箱。是 OpenMMLab 项目的成员之一。

目前 MMEditing 支持下列任务：

主分支代码目前支持 PyTorch 1.5 以上的版本。

一些示例:

RealBasicVSR.Demo.mp4

CAIN.Demo.mp4

GAN Interpolation	GAN Projector	GAN Manipulation

主要特性

• 模块化设计

  MMEditing 将编辑框架分解为不同的组件，并且可以通过组合不同的模块轻松地构建自定义的编辑器模型。

• 支持多种任务

  MMEditing 支持修复、抠图、超分辨率、插帧等多种主流编辑任务。

• 高效的分布式训练

  得益于 MMSeparateDistributedDataParallel, 动态模型的训练可以轻松实现。

• SOTA

  MMEditing 提供修复/抠图/超分辨率/插帧/生成等任务最先进的算法。

需要注意的是 MMSR 已作为 MMEditing 的一部分并入本仓库。 MMEditing 缜密地设计新的框架并将其精心实现，希望能够为您带来更好的体验。

最新进展

🌟 1.x 预览版本

全新的 MMEditing v1.0.0rc4 已经在 05/12/2022 发布:

• 支持了图文生成任务! Disco-Diffusion
• 支持了3D级图像生成任务! EG3D
• 支持MMGeneration中的全量任务、模型、优化函数和评价指标 😍。
• 基于MMEngine统一了各组件接口。
• 支持基于图像子块以及滑动条的图像和视频比较可视化工具。
• 支持图像上色任务。

在1.x 分支中发现更多特性！欢迎提 Issues 和 PRs！

💎 稳定版本

最新的 0.16.0 版本已经在 31/10/2022 发布：

• VisualizationHook 将被启用，建议用户使用 MMEditVisualizationHook。
• 修复 FLAVR 的注册问题。
• 修正 RDB 模型中的通道数。

如果像了解更多版本更新细节和历史信息，请阅读更新日志。

安装

MMEditing 依赖 PyTorch，MMEngine 和 MMCV，以下是安装的简要步骤。

步骤 1. 依照官方教程安装PyTorch

步骤 2. 使用 MIM 安装 MMCV

pip3 install openmim
# wait for more pre-compiled pkgs to release
mim install 'mmcv>=2.0.0rc1'

步骤 3. 从源码安装 MMEditing

git clone -b 1.x https://github.com/open-mmlab/mmediting.git
cd mmediting
pip3 install -e .

更详细的安装指南请参考 get_started.md 。

开始使用

请参考使用教程和功能演示获取MMEditing的基本用法。

模型库

支持的算法:

图像修复

• ✅ Global&Local (ToG'2017)
• ✅ DeepFillv1 (CVPR'2018)
• ✅ PConv (ECCV'2018)
• ✅ DeepFillv2 (CVPR'2019)
• ✅ AOT-GAN (TVCG'2021)

图像抠图

• ✅ DIM (CVPR'2017)
• ✅ IndexNet (ICCV'2019)
• ✅ GCA (AAAI'2020)

图像超分辨率

• ✅ SRCNN (TPAMI'2015)
• ✅ SRResNet&SRGAN (CVPR'2016)
• ✅ EDSR (CVPR'2017)
• ✅ ESRGAN (ECCV'2018)
• ✅ RDN (CVPR'2018)
• ✅ DIC (CVPR'2020)
• ✅ TTSR (CVPR'2020)
• ✅ GLEAN (CVPR'2021)
• ✅ LIIF (CVPR'2021)
• ✅ Real-ESRGAN (ICCVW'2021)

视频超分辨率

• ✅ EDVR (CVPR'2019)
• ✅ TOF (IJCV'2019)
• ✅ TDAN (CVPR'2020)
• ✅ BasicVSR (CVPR'2021)
• ✅ IconVSR (CVPR'2021)
• ✅ BasicVSR++ (CVPR'2022)
• ✅ RealBasicVSR (CVPR'2022)

视频插帧

• ✅ TOFlow (IJCV'2019)
• ✅ CAIN (AAAI'2020)
• ✅ FLAVR (CVPR'2021)

图像上色

• ✅ InstColorization (CVPR'2020)

Unconditional GANs

• ✅ DCGAN (ICLR'2016)
• ✅ WGAN-GP (NeurIPS'2017)
• ✅ LSGAN (ICCV'2017)
• ✅ GGAN (ArXiv'2017)
• ✅ PGGAN (ICLR'2018)
• ✅ StyleGANV1 (CVPR'2019)
• ✅ StyleGANV2 (CVPR'2020)
• ✅ StyleGANV3 (NeurIPS'2021)

Conditional GANs

• ✅ SNGAN (ICLR'2018)
• ✅ Projection GAN (ICLR'2018)
• ✅ SAGAN (ICML'2019)
• ✅ BIGGAN/BIGGAN-DEEP (ICLR'2019)

Image2Image

• ✅ Pix2Pix (CVPR'2017)
• ✅ CycleGAN (ICCV'2017)

Internal Learning

• ✅ SinGAN (ICCV'2019)

Text2Image

• ✅ Disco-Diffusion

3D-aware Generation

• ✅ EG3D

请参考模型库了解详情。

参与贡献

感谢您为改善 MMEditing 所做的所有贡献。请参阅 MMCV 中的 CONTRIBUTING.md 和 MMEngine 中的 CONTRIBUTING.md 以获取贡献指南。

致谢

MMEditing 是一款由不同学校和公司共同贡献的开源项目。我们感谢所有为项目提供算法复现和新功能支持的贡献者，以及提供宝贵反馈的用户。 我们希望该工具箱和基准测试可以为社区提供灵活的代码工具，供用户复现现有算法并开发自己的新模型，从而不断为开源社区提供贡献。

引用

如果 MMEditing 对您的研究有所帮助，请按照如下 bibtex 引用它。

@misc{mmediting2022,
    title = {{MMEditing}: {OpenMMLab} Image and Video Editing Toolbox},
    author = {{MMEditing Contributors}},
    howpublished = {\url{https://github.com/open-mmlab/mmediting}},
    year = {2022}
}

许可证

本项目开源自 Apache 2.0 license。

OpenMMLab 的其他项目

• MMEngine: OpenMMLab MMEngine.
• MMCV: OpenMMLab 计算机视觉基础库
• MIM: MIM 是 OpenMMlab 项目、算法、模型的统一入口
• MMClassification: OpenMMLab 图像分类工具箱
• MMDetection: OpenMMLab 目标检测工具箱
• MMDetection3D: OpenMMLab 新一代通用 3D 目标检测平台
• MMRotate: OpenMMLab 旋转框检测工具箱与测试基准
• MMSegmentation: OpenMMLab 语义分割工具箱
• MMOCR: OpenMMLab 全流程文字检测识别理解工具箱
• MMPose: OpenMMLab 姿态估计工具箱
• MMHuman3D: OpenMMLab 人体参数化模型工具箱与测试基准
• MMSelfSup: OpenMMLab 自监督学习工具箱与测试基准
• MMRazor: OpenMMLab 模型压缩工具箱与测试基准
• MMFewShot: OpenMMLab 少样本学习工具箱与测试基准
• MMAction2: OpenMMLab 新一代视频理解工具箱
• MMTracking: OpenMMLab 一体化视频目标感知平台
• MMFlow: OpenMMLab 光流估计工具箱与测试基准
• MMEditing: OpenMMLab 图像视频编辑工具箱
• MMGeneration: OpenMMLab 图片视频生成模型工具箱
• MMDeploy: OpenMMLab 模型部署框架

欢迎加入 OpenMMLab 社区

扫描下方的二维码可关注 OpenMMLab 团队的 知乎官方账号，加入 OpenMMLab 团队的 官方交流 QQ 群，或通过群主小喵加入微信官方交流群。

我们会在 OpenMMLab 社区为大家

• 📢 分享 AI 框架的前沿核心技术
• 💻 解读 PyTorch 常用模块源码
• 📰 发布 OpenMMLab 的相关新闻
• 🚀 介绍 OpenMMLab 开发的前沿算法
• 🏃 获取更高效的问题答疑和意见反馈
• 🔥 提供与各行各业开发者充分交流的平台

干货满满 📘，等你来撩 💗，OpenMMLab 社区期待您的加入 👬