Pytorch Tensor的通道顺序：
[batch, channel, height, width]
BP(back propagation, 反向传播)算法包括信号的前向传播和误差的反向传播两个过程。即计算误差输出时按从输入到输出的方向进行， 而调整权值和阈值则从输出到输入的方向进行。
权重的更新：
- 在实际应用中往往不可能一次性将所有数据载入内存，所以只能分批次(batch)训练
- 若使用整个样本集进行求解，损失梯度指向全局最优方向
- 若使用批次样本进行求解，损失梯度指向当前批次最优方向
- SGD优化器(Stochastic Gradient Descent, 随机梯度下降)
- SGD+Momentum优化器
- Adagrad优化器(自适应学习率)
- s_t为梯度平方的累加值
- 缺点：学习率下降太快，可能还没收敛就停止训练
- RMSProp优化器(自适应优化器)
- 在
Adagrad基础上控制s_t值
Adam优化器(自适应学习率)
比较常见SGD+Momentum或Adam。SGD虽然慢，但可能是最优的
激活函数:
- 引入非线性因素，使其具备解决非线性问题的能力
卷积层(Convolution)：
- 目的：进行图像特征提取
- 拥有局部感知机制
- 权值共享，极大降低了参数量，便于模型训练
卷积操作：
- 卷积核的channel与输入特征层的channel相同
- 输出的特征矩阵channel与卷积核个数相同
卷积操作过程中，矩阵经过卷积操作后的尺寸由以下几个因素决定：
- 输入图片大小WxW
- Filter大小FxF
- 步长S
- padding的像素数P
经过卷积后的矩阵尺寸大小计算公式：
N = (W - F + 2P)/S + 1
目的：对特征图进行稀疏处理，减少数据运算量 特点：
-
没有训练参数
-
只改变特征矩阵的w和h，不改变channel
-
一般pool_size和stride相同
-
MaxPooling下采样层
-
AveragePooling下采样层
- 首次利用GPU进行网络加速训练
- 使用了
ReLU激活函数，而不是传统的Sigmoid激活函数以及Tanh激活函数 - 使用了
LRN局部相应归一化 - 在全连接层的前两层中使用
Dropout随机失活神经元操作，以减少过拟合
- 使用 Dropout 的方式在网络正向传播过程中随机失活一部分神经元
- 引入了
Inception结构，融合不同尺度的特征信息 - 使用
1x1的卷积核进行降维以及映射处理 - 添加两个辅助分类器帮助训练
- 丢弃全连接层，使用平均池化层，大大减少模型参数
Deep Residual Learning for Image Recognition
- 超深的网络结构(突破1000层)
- 提出
residual模块 - 使用
Batch Normalization加速训练(对齐dropout) 
当网络深度增加时，训练/测试损失增加：
- 梯度消失或梯度爆炸。如当损失梯度是小于1的数，反向传播根据链式法则梯度相乘会越来越小，梯度爆炸同理。
- 退化问题(degradation problem)。
1*1卷积核用来降维和升维，同时降低了参数量
ResNet-34:
- BN的目的是使一批(Batch)的feature map满足均值为0，方差为1的分布规律
- 具体地，是指输入模型的一批数据的某一通道满足零均值、单位方差分布
- 训练时要将training设置为True，验证时将training参数设置为False。在pytorch中可通过创建模型的
model.train()和model.eval()方法控制 batch_size尽可能设置大点，设置小后表现可能很糟糕，设置的值越大求的均值和方差越接近整个训练集的均值和方差- 建议将bn层放在卷积层(Conv)和激活曾(例如Relu之间)，且卷积层不要使用偏置bias。因为没有用。
- 能够快速地训练出一个理想的结果
- 当数据集较小时也能训练出理想的效果
- 注意：使用别人预训练模型参数时，要注意别人的预处理方式
Aggregated Residual Transformations for Deep Neural Networks
