Transformer BLOCK 梯度异常，梯度反向传播异常放大？同#69174

[johnyanccer]

请提出你的问题 Please ask your question

Transformer BLOCK 梯度异常，同#69174，#69174
在2.6和3.0环境都有测试，aistudio有公开项目，
https://aistudio.baidu.com/projectdetail/8382058

原本以为是layerlist写法不对，调整后结果无差异，纵轴是参数梯度L2范数，横轴是训练步数，input数据依次经过encoder0到encoder9，然后通过classifier 得到输出，并计算loss，没有设置共享参数

如图呈现靠近输入的梯度大，靠近输出的梯度小，并且梯度迅速减小到0，然后再增大，再减小

调整transformer BLOCK的初始化参数能改变梯度大小，但是仍然呈现反向放大，并且迅速归0的现象

[warrentdrew]

您好，训练梯度呈现靠近输入层的梯度大，靠近输出的梯度小可能和网络结构，权重，输入数据等各种因素有关，如果没有出现导致训练不收敛或者是其他训练问题，应该可认为是正常的情况。可以用相同的网络结构，权重和数据使用其他的框架（如pytorch）观察的梯度情况来确认，理论上应能得到相同的梯度情况

[johnyanccer]

您好，训练梯度呈现靠近输入层的梯度大，靠近输出的梯度小可能和网络结构，权重，输入数据等各种因素有关，如果没有出现导致训练不收敛或者是其他训练问题，应该可认为是正常的情况。可以用相同的网络结构，权重和数据使用其他的框架（如pytorch）观察的梯度情况来确认，理论上应能得到相同的梯度情况

最后一层classifier的梯度是大的，靠近classifier的encoder.9变小，然后越接近输入层梯度越大
调整初始化权重大小后，梯度大小会随之变化，但仍然在10步以内就减少到0，而且也呈现梯度递减的现象
并且只更新了几步，几十步就收敛，这也不正常吧？

[warrentdrew]

收敛过快是指loss收敛快还是梯度减小快呢，另外训练完成后可以达到预期的精度吗

[johnyanccer]

收敛过快是指loss收敛快还是梯度减小快呢，另外训练完成后可以达到预期的精度吗

梯度从一开始的10+很快减小到初始的1%，所有1、2阶矩都接近0，loss在1左右就不动了，精度就跟没训练一样

[warrentdrew]

请问下模型结构是否是的开源的常用模型结构，或者有在其他数据集上训练可以正常收敛，或者用其他框架实现能正常训练的情况

[johnyanccer]

请问下模型结构是否是的开源的常用模型结构，或者有在其他数据集上训练可以正常收敛，或者用其他框架实现能正常训练的情况

就是patchtst，有很小的改动

[warrentdrew]

请问下模型结构是否是的开源的常用模型结构，或者有在其他数据集上训练可以正常收敛，或者用其他框架实现能正常训练的情况

就是patchtst，有很小的改动

Paddle官方套件PaddleTS中包含了patchtst模型的实现，可以尝试下官方套件中的实现，观察下是否能复现相同的梯度情况以及训练不收敛的问题

https://github.com/PaddlePaddle/PaddleTS/blob/release_v1.1/paddlets/models/forecasting/dl/PatchTST.py

[johnyanccer]

请问下模型结构是否是的开源的常用模型结构，或者有在其他数据集上训练可以正常收敛，或者用其他框架实现能正常训练的情况

就是patchtst，有很小的改动

Paddle官方套件PaddleTS中包含了patchtst模型的实现，可以尝试下官方套件中的实现，观察下是否能复现相同的梯度情况以及训练不收敛的问题

https://github.com/PaddlePaddle/PaddleTS/blob/release_v1.1/paddlets/models/forecasting/dl/PatchTST.py

你们这个是预训练过的，是直接拿来做下游预测，但我碰到的问题是在预训练阶段就出现的

[sealoongleft]

解决了吗，兄弟

[johnyanccer]

没有发自我的平板-------- 原始邮件 --------发件人： sea loong left ***@***.***>日期： 2024年11月19日周二 15:24收件人： PaddlePaddle/Paddle ***@***.***>抄送： johnyanccer ***@***.***>, Author ***@***.***>主 题： Re: [PaddlePaddle/Paddle] Transformer BLOCK 梯度异常，梯度反向传播异常放大？同#69174 (Issue #69310) 解决了吗，兄弟 —Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you authored the thread.Message ID: ***@***.***>

[sealoongleft]

我有个解决办法，就是你把相邻的两层的权重变成可训练参数，其余层将参数冻结，然后你给一个假数据看一下他的权重更新对不对的上，如果对的上，再测两层。 举个例子就是比如你有五个层，分别叫1，2，3，4，5，首先你测1，2冻结3，4，5，然后测2，3冻结1，4，5一次类推即可，如果哪里有问题一下就能查出来了

…

------------------ 原始邮件 ------------------ 发件人: ***@***.***>; 发送时间: 2024年11月19日(星期二) 下午3:42 收件人: ***@***.***>; 抄送: ***@***.***>; ***@***.***>; 主题: Re: [PaddlePaddle/Paddle] Transformer BLOCK 梯度异常，梯度反向传播异常放大？同#69174 (Issue #69310) 没有发自我的平板-------- 原始邮件 --------发件人： sea loong left ***@***.***>日期： 2024年11月19日周二 15:24收件人： PaddlePaddle/Paddle ***@***.***>抄送： johnyanccer ***@***.***>, Author ***@***.***>主 题： Re: [PaddlePaddle/Paddle] Transformer BLOCK 梯度异常，梯度反向传播异常放大？同#69174 (Issue #69310) 解决了吗，兄弟 —Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you authored the thread.Message ID: ***@***.***> — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***>

[johnyanccer]

但是还有一个问题是更新了几步梯度就消失了，或者说一开始梯度就消失的。最后一层classifier是hidden×2，其他方阵是hidden×hidden，如果最后一层和其他方阵梯度范数差不多大，其实其他方阵每个参数的梯度会比最后一层的小10倍以上，hidden取128/256/512的话发自我的平板-------- 原始邮件 --------发件人： sea loong left ***@***.***>日期： 2024年11月19日周二 15:45收件人： PaddlePaddle/Paddle ***@***.***>抄送： johnyanccer ***@***.***>, Author ***@***.***>主 题： Re: [PaddlePaddle/Paddle] Transformer BLOCK 梯度异常，梯度反向传播异常放大？同#69174 (Issue #69310) 我有个解决办法，就是你把相邻的两层的权重变成可训练参数，其余层将参数冻结，然后你给一个假数据看一下他的权重更新对不对的上，如果对的上，再测两层。 举个例子就是比如你有五个层，分别叫1，2，3，4，5，首先你测1，2冻结3，4，5，然后测2，3冻结1，4，5一次类推即可，如果哪里有问题一下就能查出来了

…

------------------ 原始邮件 ------------------ 发件人: ***@***.***>; 发送时间: 2024年11月19日(星期二) 下午3:42 收件人: ***@***.***>; 抄送: ***@***.***>; ***@***.***>; 主题: Re: [PaddlePaddle/Paddle] Transformer BLOCK 梯度异常，梯度反向传播异常放大？同#69174 (Issue #69310) 没有发自我的平板-------- 原始邮件 --------发件人： sea loong left ***@***.***>日期： 2024年11月19日周二 15:24收件人： PaddlePaddle/Paddle ***@***.***>抄送： johnyanccer ***@***.***>, Author ***@***.***>主 题： Re: [PaddlePaddle/Paddle] Transformer BLOCK 梯度异常，梯度反向传播异常放大？同#69174 (Issue #69310) 解决了吗，兄弟 —Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you authored the thread.Message ID: ***@***.***> — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***> —Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you authored the thread.Message ID: ***@***.***>

[sealoongleft]

兄弟我貌似知道你这个问题在哪里了，哈哈哈哈
你更换下optimizer并且注意把learning_rate调小，基本就能解决你的问题了
你哪个学校的