paddle2tlx

持续更新...

功能简介

paddle2tlx 是一款面向 TensorLayerX 的模型转换工具，可以方便的将由 PaddlePaddle 实现的模型迁移到 TensorLayerX 框架上运行。

使用描述

参数说明

参数名称	参数描述	备注
modle_name	模型名称	可选(便于转换后验证模型)
model_type	模型类别	可选(便于转换后验证模型)
input_dir_pd	paddle源工程目录	必选
output_dir_tlx	tensorlayerx目标工程目录	必选
save_tag	是否保存转换后的预训练模型	模型脚本中设置
pretrained_model	转换后预训练模型保存路径	模型脚本中设置

使用方式

准备转前 paddle 模型工程代码

将 paddle 模型代码放在自己创建的一个文件夹下，转前和转后代码按模型任务类别进行划分，文件夹包含当前模型源码文件和依赖代码。预训练模型权重存放路径采用的是脚本指定的外部文件夹。以图像分类模型为例，转前模型文件夹结构如下，其中包含60个分类任务的模型定义脚本：

pd_models/  # 转前模型根目录
└── paddleclas  # 图像分类模型
    ├── alexnet.py
    ├── convnext.py
    ├── cspdarknet.py
    ├── cswin_transformer.py
    ├── darknet53.py
    ├── deit.py
    ├── __init__.py
    ├── ops # 依赖算子
    │   ├── __init__.py
    │   ├── ops_fusion.py
    │   └── theseus_layer.py
    └── utils  # 通用方法
        ├── common_func.py
        └── __init__.py
    ...

执行转换

Pycharm中执行转换

改变 paddle2tlx/convert.py 文件以下几个变量的默认值，然后运行该文件执行转换。

• input_dir_pd：paddle 模型工程代码文件夹
• output_dir_tlx：转换后 tensorlayerx 模型存放文件夹
• model_name：模型名称(可选)
• model_type：模型类别(可选)

命令行方式转换

# 1. 首先, 将 paddle2tlx 工具包装到自己创建的 Python 环境中
pip install -e .

# 2. 然后, 执行代码转换
# 方式1 - 推荐
# 先执行代码转换
paddle2tlx --input_dir_pd pd_models/paddleclas --output_dir_tlx tlx_models/paddleclas
# 转换后单独验证模型
cd examples
python validation.py --input_dir_pd ../pd_models/paddleclas --output_dir_tlx ../tlx_models/paddleclas --model_name vgg16 --model_type clas

# 方式2
# 转换+验证某个模型
paddle2tlx --input_dir_pd pd_models/paddleclas --output_dir_tlx tlx_models/paddleclas --model_name vgg16 --model_type clas

转换后模型的目录结构和转前目录结构保持一致。不同任务类别模型的训练脚本和测试脚本存放在 examples 目录下，可留作单独测试用。不同设备间迁移测试模型时，可以保留 pd_models 和 tlx_models 下的模型工程代码和 examples 目录。

对于不支持的 API 算子，还需对转换工具做适配优化。

预训练模型存放路径

如果预训练模型提供了下载链接，会将预训练模型自动下载到 ~/.cache/paddle/hapi/weights 目录，不同任务存放在各自的子文件夹下，如分类模型会自动下载到 ~/.cache/paddle/hapi/weights/paddleclas 目录。

如果预训练模型没有提供下载链接或是自己训练，会将预训练模型统一下载到 pretrain 目录下，同样按任务区分。

更新记录

模型适配

分类模型

序号	模型	类别误差	前后误差	状态	方向	总表序号
1	vgg16(pretrained model)	一致	0.0	完成	PaddleClas	31
2	alexnet(pretrained model)	一致	0.0	完成	PaddleClas	1
3	resnet50(pretrained model)	一致	0.0	完成	PaddleClas	32
4	resnet101(pretrained model)	一致	0.0	完成	PaddleClas	33
5	googlenet(pretrained model)	一致	0.0	完成	PaddleClas	14
6	mobilenetv1(pretrained model)	一致	0.0	完成	PaddleClas	23
7	mobilenetv2(pretrained model)	一致	0.0	完成	PaddleClas	24
8	mobilenetv3(pretrained model)	一致	0.0	完成	PaddleClas	25
9	shufflenetv2(pretrained model)	一致	0.0	完成	PaddleClas	39
10	squeezenet(pretrained model)	一致	0.0	完成	PaddleClas	40
11	inceptionv3(pretrained model)	一致	0.0	完成	PaddleClas	19
12	regnet(pretrained model)	一致	0.0	完成	PaddleClas	30
13	tnt(pretrained model)	一致	0.0	完成	PaddleClas	41
14	darknet53(pretrained model)	一致	0.0	完成	PaddleClas	46
15	densenet(pretrained model)	一致	0.0	完成	PaddleClas	5
16	rednet50(pretrained model)	一致	0.0	完成	PaddleClas	28
17	rednet101(pretrained model)	一致	0.0	完成	PaddleClas	29
18	cspdarknet53(pretrained model)	一致	0.0	完成	PaddleClas	2
19	efficientnet_b1(pretrained model)	一致	0.0	完成	PaddleClas	11
20	efficientnet_b7(pretrained model)	一致	0.0	完成	PaddleClas	12
21	dla34(pretrained model)	一致	0.0	完成	PaddleClas	7
22	dla102(pretrained model)	一致	0.0	完成	PaddleClas	8
23	dpn68(pretrained model)	一致	0.0	完成	PaddleClas	9
24	dpn107(pretrained model)	一致	0.0	完成	PaddleClas	10
25	ghostnet(pretrained model)	一致	0.0	完成	PaddleClas	13
26	hardnet39(pretrained model)	一致	0.0	完成	PaddleClas	17
27	hardnet85(pretrained model)	一致	0.0	完成	PaddleClas	18
28	resnest50(pretrained model)	一致	0.0	完成	PaddleClas	34
29	resnext50(pretrained model)	一致	0.0	完成	PaddleClas	35
30	resnext101(pretrained model)	一致	0.0	完成	PaddleClas	36
31	rexnet(pretrained model)	微小误差	0.00061244145	完成	PaddleClas	37
32	se_resnext(pretrained model)	一致	0.0	完成	PaddleClas	38
33	esnet_x0_5(pretrained model)	一致	0.0	完成	PaddleClas	47
34	esnet_x1_0(pretrained model)	一致	0.0	完成	PaddleClas	48
35	vit(pretrained model)	一致	0.0	完成	PaddleClas
36	alt_gvt_small(pretrained model)	一致	0.0	完成	PaddleClas	15
37	alt_gvt_base(pretrained model)	一致	0.0	完成	PaddleClas	16
38	swin_transformer_base(pretrained model)	0.0			PaddleClas	3
39	swin_transformer_small(pretrained model)	0.0			PaddleClas	4
40	pcpvt_base(pretrained model)	一致	0.0	完成	PaddleClas	26
41	pcpvt_large(pretrained model)	一致	0.0	完成	PaddleClas	27
42	xception41(pretrained model)	一致	0.0	完成	PaddleClas	42
43	xception65(pretrained model)	一致	0.0	完成	PaddleClas	43
44	xception41_deeplab(pretrained model)	一致	0.0	完成	PaddleClas	44
45	xception65_deeplab(pretrained model)	一致	0.0	完成	PaddleClas	45
46	levit(pretrained model)	一致	0.0	完成	PaddleClas	21
47	mixnet(pretrained model)	微小误差	0.00048300158	完成	PaddleClas	22
48	convnext(pretrained model)	一致	0.0	完成	PaddleClas	新增
49	cswin(pretrained model)	一致	0.0	完成	PaddleClas	新增
50	deittiny(pretrained model)	一致	0.0	完成	PaddleClas	新增
51	deitsmall(pretrained model)	一致	0.0	完成	PaddleClas	新增
52	deitbase(pretrained model)	一致	0.0	完成	PaddleClas	新增
53	dvt(pretrained model)	一致	0.0	完成	PaddleClas	新增
54	peleenet(pretrained model)	一致	0.0	完成	PaddleClas	新增
55	pp_hgnet(pretrained model)	一致	0.0	完成	PaddleClas	新增
56	pp_lcnet(pretrained model)	一致	0.0	完成	PaddleClas	新增
57	pp_lcnet_v2(pretrained model)	一致	0.0	完成	PaddleClas	新增
58	pvt_v2(pretrained model)	一致	0.0	完成	PaddleClas	新增
59	res2net(pretrained model)	一致	0.0	完成	PaddleClas	新增
60	van(pretrained model)	一致	0.0	完成	PaddleClas	新增

分割模型

序号	模型	前后误差	状态	方向	总表序号
1	fast_scnn	0.0	完成	PaddleSeg	76
2	hrnet	0.0	完成	PaddleSeg	75
3	encnet	0.0	完成	PaddleSeg	77
4	bisenet	0.0	完成	PaddleSeg	83
5	fastfcn	0.0	完成	PaddleSeg	73
6	enet	0.0	完成	PaddleSeg	74

检测模型

序号	模型	前后误差	状态	方向	总表序号
1	yolov3	0.0	完成	PaddleDec	54
2	ssd	0.0	完成	PaddleDec	60
3	yolox	0.0	完成	PaddleDec	57
4	picodet_lcnet	0.0	完成	PaddleDec	67
5	fcos_r50	0.0	完成	PaddleDec	68
6	fcos_dcn	0.0	完成	PaddleDec	69
7	RetinaNet	0.0	完成	PaddleDec	64
8	Mask_RCNN	0.0	完成	PaddleDec	63
9	Faster_RCNN	0.0	完成	PaddleDec	62
10	CascadeRCNN	0.0	完成	PaddleDec	70
11	SOLOv2	0.0	完成	PaddleDec	72
12	GFL	0.0	完成	PaddleDec	新增
13	TOOD	0.0	完成	PaddleDec	新增
14	CenterNet	0.0	完成	PaddleDec	新增
15	TTFNet	0.0	完成	PaddleDec	新增

遥感模型

序号	模型	前后误差	状态	方向	总表序号
1	bit	0.0	完成	PaddleRS	98
2	cdnet	0.0	完成	PaddleRS	87
3	stanet	0.0	完成	PaddleRS	88
4	fcef	0.0	完成	PaddleRS	89
5	fccdn	0.0	完成	PaddleRS	91
6	dsamnet	0.0	完成	PaddleRS	97
7	snunet	0.0	完成	PaddleRS	90
8	dsifn	0.0	完成	PaddleRS	95
9	unet	0.0	完成	PaddleRS	84
10	farseg	0.0	完成	PaddleRS	85
11	deeplab	0.0	完成	PaddleRS	86

生成模型

序号	模型	前后误差	状态	方向	总表序号
1	cyclegan	0.0	完成	PaddleGAN	78
2	starganv2	0.0	完成	PaddleGAN	80
3	prenet	0.0	完成	PaddleGAN	81
4	u-gat-it	0.0	完成	PaddleGAN	82
5	styleganv2	0.0	完成	PaddleGAN	79

自然语言模型

序号	模型	前后误差	状态	方向	总表序号
1	TextCNN	0.0	完成	PaddleNLP	100
2	LSTM	0.0	完成	PaddleNLP	93
3	RNN	0.0	完成	PaddleNLP	94

功能优化

20221028

待补充

依赖环境

python=3.7
paddlepaddle==2.3.0
tensorlayerx==0.5.7  # latest

详见 requirements.txt 文件

参考

• TensorLayerX
• PaddlePaddle