diff --git a/doc/config.md b/doc/config.md index 282a6bfb15..1626bb96b8 100644 --- a/doc/config.md +++ b/doc/config.md @@ -12,18 +12,18 @@ | 字段 | 用途 | 默认值 | 备注 | | :----------------------: | :---------------------: | :--------------: | :--------------------: | -| algorithm | 设置算法 | CRNN | 选择模型，支持模型请参考[简介]() | +| algorithm | 设置算法 | CRNN | 选择模型，支持模型请参考[简介](../../README.md) | | use_gpu | 设置代码运行场所 | true | \ | -| epoch_num | 最大训练epoch数 | 3000 | \ | -| log_smooth_window | 滑动窗口大小 | 20 | \ | -| print_batch_step | 设置打印log间隔 | 10 | \ | -| save_model_dir | 设置模型保存路径 | output/rec_CRNN | \ | -| save_epoch_step | 设置模型保存间隔 | 3 | \ | -| eval_batch_step | 设置模型评估间隔 | 2000 | \ | -|train_batch_size_per_card | 设置训练时单卡batch size | 256 | \ | -| test_batch_size_per_card | 设置评估时单卡batch size | 256 | \ | -| image_shape | 设置输入图片尺寸 | [3, 32, 100] | \ | -| max_text_length | 设置文本最大长度 | 25 | \ | +| epoch_num | 最大训练epoch数 | 3000 | \ | +| log_smooth_window | 滑动窗口大小 | 20 | \ | +| print_batch_step | 设置打印log间隔 | 10 | \ | +| save_model_dir | 设置模型保存路径 | output/rec_CRNN | \ | +| save_epoch_step | 设置模型保存间隔 | 3 | \ | +| eval_batch_step | 设置模型评估间隔 | 2000 | \ | +|train_batch_size_per_card | 设置训练时单卡batch size | 256 | \ | +| test_batch_size_per_card | 设置评估时单卡batch size | 256 | \ | +| image_shape | 设置输入图片尺寸 | [3, 32, 100] | \ | +| max_text_length | 设置文本最大长度 | 25 | \ | | character_type | 设置字符类型 | ch | en/ch, en时将使用默认dict，ch时使用自定义dict| | character_dict_path | 设置字典路径 | ./ppocr/utils/ic15_dict.txt | \ | | loss_type | 设置 loss 类型 | ctc | 支持两种loss： ctc / attention | diff --git a/doc/detection.md b/doc/detection.md index 1a0417ad5e..97649f7c68 100644 --- a/doc/detection.md +++ b/doc/detection.md @@ -5,14 +5,16 @@ ## 数据准备 icdar2015数据集可以从[官网](https://rrc.cvc.uab.es/?ch=4&com=downloads)下载到，首次下载需注册。 -将下载到的数据集解压到工作目录下，假设解压在/PaddleOCR/train_data/ 下。另外，PaddleOCR将零散的标注文件整理成单独的标注文件 +将下载到的数据集解压到工作目录下，假设解压在 PaddleOCR/train_data/ 下。另外，PaddleOCR将零散的标注文件整理成单独的标注文件 ，您可以通过wget的方式进行下载。 ``` -wget -P /PaddleOCR/train_data/ https://paddleocr.bj.bcebos.com/dataset%2Ftrain_icdar2015_label.txt -wget -P /PaddleOCR/train_data/ https://paddleocr.bj.bcebos.com/dataset%2Ftest_icdar2015_label.txt +# 在PaddleOCR路径下 +cd PaddleOCR/ +wget -P ./train_data/ https://paddleocr.bj.bcebos.com/dataset/train_icdar2015_label.txt +wget -P ./train_data/ https://paddleocr.bj.bcebos.com/dataset/test_icdar2015_label.txt ``` -解压数据集和下载标注文件后，/PaddleOCR/train_data/ 有两个文件夹和两个文件，分别是： +解压数据集和下载标注文件后，PaddleOCR/train_data/ 有两个文件夹和两个文件，分别是： ``` /PaddleOCR/train_data/ └─ icdar_c4_train_imgs/ icdar数据集的训练数据 @@ -26,8 +28,8 @@ wget -P /PaddleOCR/train_data/ https://paddleocr.bj.bcebos.com/dataset%2Ftest_i " 图像文件名 json.dumps编码的图像标注信息" ch4_test_images/img_61.jpg [{"transcription": "MASA", "points": [[310, 104], [416, 141], [418, 216], [312, 179]], ...}] ``` -json.dumps编码前的图像标注信息是包含多个字典的list，字典中的$points$表示文本框的四个点的坐标(x, y)，从左上角的点开始顺时针排列。 -$transcription$表示当前文本框的文字，在文本检测任务中并不需要这个信息。 +json.dumps编码前的图像标注信息是包含多个字典的list，字典中的 `points` 表示文本框的四个点的坐标(x, y)，从左上角的点开始顺时针排列。 +`transcription` 表示当前文本框的文字，在文本检测任务中并不需要这个信息。 如果您想在其他数据集上训练PaddleOCR，可以按照上述形式构建标注文件。 @@ -38,9 +40,9 @@ $transcription$表示当前文本框的文字，在文本检测任务中并不 ``` cd PaddleOCR/ # 下载MobileNetV3的预训练模型 -wget -P /PaddleOCR/pretrain_models/ https://paddle-imagenet-models-name.bj.bcebos.com/MobileNetV3_large_x0_5_pretrained.tar +wget -P ./pretrain_models/ https://paddle-imagenet-models-name.bj.bcebos.com/MobileNetV3_large_x0_5_pretrained.tar # 下载ResNet50的预训练模型 -wget -P /PaddleOCR/pretrain_models/ https://paddle-imagenet-models-name.bj.bcebos.com/ResNet50_vd_ssld_pretrained.tar +wget -P ./pretrain_models/ https://paddle-imagenet-models-name.bj.bcebos.com/ResNet50_vd_ssld_pretrained.tar ``` **启动训练** diff --git a/doc/recognition.md b/doc/recognition.md index 0f939c5846..604ce44d5d 100644 --- a/doc/recognition.md +++ b/doc/recognition.md @@ -34,6 +34,14 @@ ln -sf /train_data/dataset train_data/train_0001.jpg 简单可依赖 train_data/train_0002.jpg 用科技让复杂的世界更简单 ``` +PaddleOCR 提供了一份用于训练 icdar2015 数据集的标签文件，通过以下方式下载： + +``` +# 训练集标签 +wget -P ./train_data/ic15_data https://paddleocr.bj.bcebos.com/dataset/rec_gt_train.txt +# 测试集标签 +wget -P ./train_data/ic15_data https://paddleocr.bj.bcebos.com/dataset/rec_gt_test.txt +``` 最终训练集应有如下文件结构： @@ -41,25 +49,25 @@ train_data/train_0002.jpg 用科技让复杂的世界更简单 |-train_data |-ic15_data |- rec_gt_train.txt - |- train_imags - |- train_001.jpg - |- train_002.jpg - |- train_003.jpg + |- train + |- word_001.png + |- word_002.jpg + |- word_003.jpg | ... ``` -- 评估集 +- 测试集 -同训练集类似，评估集也需要提供一个包含所有图片的文件夹（eval_images）和一个rec_gt_eval.txt，评估集的结构如下所示： +同训练集类似，测试集也需要提供一个包含所有图片的文件夹（test）和一个rec_gt_test.txt，测试集的结构如下所示： ``` |-train_data |-ic15_data - |- rec_gt_eval.txt - |- eval_imags - |- eval_001.jpg - |- eval_002.jpg - |- eval_003.jpg + |- rec_gt_test.txt + |- test + |- word_001.jpg + |- word_002.jpg + |- word_003.jpg | ... ``` @@ -82,22 +90,35 @@ word_dict.txt 每行有一个单字，将字符与数字索引映射在一起， `ppocr/utils/ppocr_keys_v1.txt` 是一个包含6623个字符的中文字典， `ppocr/utils/ic15_dict.txt` 是一个包含36个字符的英文字典， -您可以按需使用。如需自定义dic文件，请修改 `configs/rec/rec_icdar15_train.yml` 中的 `character_dict_path` 字段。 +您可以按需使用。 +如需自定义dic文件，请修改 `configs/rec/rec_icdar15_train.yml` 中的 `character_dict_path` 字段, 并将 `character_type` 设置为 `ch`。 ### 启动训练 PaddleOCR提供了训练脚本、评估脚本和预测脚本，本节将以 CRNN 识别模型为例： +首先下载pretrain model，您可以下载训练好的模型在 icdar2015 数据上进行finetune +`` +cd PaddleOCR/ +# 下载MobileNetV3的预训练模型 +wget -P ./pretrain_models/ https://paddleocr.bj.bcebos.com/rec_mv3_none_bilstm_ctc.tar +# 解压模型参数 +cd pretrain_models +tar -xf rec_mv3_none_bilstm_ctc.tar && rm -rf rec_mv3_none_bilstm_ctc.tar +``` + +开始训练: + ``` # 设置PYTHONPATH路径 export PYTHONPATH=$PYTHONPATH:. # GPU训练 支持单卡，多卡训练，通过CUDA_VISIBLE_DEVICES指定卡号 export CUDA_VISIBLE_DEVICES=0,1,2,3 -python tools/train.py -c configs/rec/rec_icdar15_train.yml +python3 tools/train.py -c configs/rec/rec_icdar15_train.yml ``` -PaddleOCR支持训练和评估交替进行, 可以在 `configs/rec/rec_icdar15_train.yml` 中修改 `eval_batch_step` 设置评估频率，默认每2000个iter评估一次。评估过程中默认将最佳acc模型，保存为 `output/rec_CRNN/best_accuracy` 。 +PaddleOCR支持训练和评估交替进行, 可以在 `configs/rec/rec_icdar15_train.yml` 中修改 `eval_batch_step` 设置评估频率，默认每500个iter评估一次。评估过程中默认将最佳acc模型，保存为 `output/rec_CRNN/best_accuracy` 。 如果验证集很大，测试将会比较耗时，建议减少评估次数，或训练完再进行评估。 @@ -110,7 +131,7 @@ PaddleOCR支持训练和评估交替进行, 可以在 `configs/rec/rec_icdar15_t ``` export CUDA_VISIBLE_DEVICES=0 # GPU 评估， Global.checkpoints 为待测权重 -python tools/eval.py -c configs/rec/rec_chinese_lite_train.yml -o Global.checkpoints={path/to/weights}/best_accuracy +python3 tools/eval.py -c configs/rec/rec_chinese_lite_train.yml -o Global.checkpoints={path/to/weights}/best_accuracy ``` ### 预测 @@ -122,7 +143,7 @@ PaddleOCR 提供了训练好的中文模型，可以[下载](todo: add)进行快 默认预测图片存储在 `infer_img` 里，通过 `-o Global.checkpoints` 指定权重： ``` -python tools/infer_rec.py -c configs/rec/rec_chinese_lite_train.yml -o Global.checkpoints={path/to/weights}/best_accuracy TestReader.infer_img=doc/imgs_word/word_1.jpg +python3 tools/infer_rec.py -c configs/rec/rec_chinese_lite_train.yml -o Global.checkpoints={path/to/weights}/best_accuracy TestReader.infer_img=doc/imgs_word/word_1.jpg ``` 预测图片：