one-yolov5 sync-bn 断点续训精度下降

[ccssu]

目前处于猜测阶段，目前有如下两个依据：

1. 在这个issues: #21

采用syncbn训练，中途有中断继续恢复训练，可以看到在第194个，250个epoch处附近出现明显下降(详细数据可见#21 (comment) ）

2. 在isses的map结果: #19

由于服务器重启，下图中在第90个epoch附近有明显下降。

结合最新的不采用sync 加载torch初始化 训练结果
在第 24个epoch

	是否加载torch初始化	metrics/mAP_0.5	metrics/mAP_0.5:0.95
yolov5n	是	0.2547,	0.14129,
yolov5n	否	0.25279,	0.14134,

可以看下图两个圈所标注，他们都精度值几乎一致。所以猜测应该是精度值受到 训练中断然后恢复训练的影响。

[ccssu]

最新的不采用sync 训练结果

	metrics/mAP_0.5	metrics/mAP_0.5:0.95
实际值	43.065	25.96
目标值	45.6	27.7
实际值 - 目标值	-2.535	-1.740

如下图(根据最新的 result.csv 画的map趋势图)所示:

全部数据 result.csv
记录时长
300 epochs completed in 43.070 hours.

[ccssu]

在最新的不采用syncbn且不中断训练得到的精度相比目标差了1~2个点。具体数据如上面的comment：

现在同步了一下原来从one-yolov5拉取的torch版本，进行不采用syncbn且不中断训练实验，主要在train.py进行两处修改
(1) 把shuffle = False 改为 shuffle = True，表示在进行训练周期后要对数据进行打乱，目的降低模型拟合性
(2) init_seed函数从 init_seed(1，True)修改为 init_seed( opt.seed + RANK + 1，True) 。 (原来做loss 对齐 train.py中 init_seed函数传入固定为 1 。原因：oneflow会修改默认的 RANK ，可见 https://github.com/Oneflow-Inc/OneTeam/issues/1602#issuecomment-1211821128 。)

机器 oneflow27-root
指令： python -m oneflow.distributed.launch --nproc_per_node 2 train.py --data data/coco.yaml --weights ' ' --cfg models/yolov5n.yaml
下面是这次训练的结果，更新完。。。

目前opochs: 300

	metrics/mAP_0.5	metrics/mAP_0.5:0.95
当前训练值	43.150	26.057
上次训练值	43.072	25.960
当前训练值-上次训练值	0.078	0.097
目标值	45.6	27.7
当前训练值 - 目标值	-2.462	-1.643

[ccssu]

环境

机器：oneflow27-root
配置项:

• shuffle = True
• sync-bn = True
• 通过加载torch初始化权重训练
• --workers 8

数据

目前opochs: 300 (全部数据可见 result.csv)

	metrics/mAP_0.5	metrics/mAP_0.5:0.95
当前训练值	43.524	26.232
目标值	45.6	27.7
当前训练值 - 目标值	-2.076	-1.468

下图是根据目前数据画出的map0.5 和 map0.5-0.95 趋势图

[yuanms2]

Yolo 受不受swin 那边发现的初始化的影响

[ccssu]

Yolo 受不受swin 那边发现的初始化的影响

目前Yolo还没有训到目标精度，我无法确定，等会我去问问。

[BBuf]

Yolo 受不受swin 那边发现的初始化的影响

那个改动已经在我们的训练分支了

[yuanms2]

yolo 的精度还是没有对齐么

[BBuf]

yolo 的精度还是没有对齐么

没有，本周又组织了一次讨论，目前最新的分支已经对齐了pytorch的初始化结果并且确保输入数据是完全一样的，正在训练等结果。