diff --git "a/A-\345\237\272\347\241\200\346\225\231\347\250\213/A2-\347\245\236\347\273\217\347\275\221\347\273\234\345\237\272\346\234\254\345\216\237\347\220\206\347\256\200\346\230\216\346\225\231\347\250\213/Step1 - BasicKnowledge/03.0-\346\215\237\345\244\261\345\207\275\346\225\260.md" "b/A-\345\237\272\347\241\200\346\225\231\347\250\213/A2-\347\245\236\347\273\217\347\275\221\347\273\234\345\237\272\346\234\254\345\216\237\347\220\206\347\256\200\346\230\216\346\225\231\347\250\213/Step1 - BasicKnowledge/03.0-\346\215\237\345\244\261\345\207\275\346\225\260.md" index 1f7a865df..8ebdf581f 100644 --- "a/A-\345\237\272\347\241\200\346\225\231\347\250\213/A2-\347\245\236\347\273\217\347\275\221\347\273\234\345\237\272\346\234\254\345\216\237\347\220\206\347\256\200\346\230\216\346\225\231\347\250\213/Step1 - BasicKnowledge/03.0-\346\215\237\345\244\261\345\207\275\346\225\260.md" +++ "b/A-\345\237\272\347\241\200\346\225\231\347\250\213/A2-\347\245\236\347\273\217\347\275\221\347\273\234\345\237\272\346\234\254\345\216\237\347\220\206\347\256\200\346\230\216\346\225\231\347\250\213/Step1 - BasicKnowledge/03.0-\346\215\237\345\244\261\345\207\275\346\225\260.md" @@ -31,7 +31,7 @@ $$J = \sum_{i=1}^m loss$$ ### 3.0.2 机器学习常用损失函数 -符号规则:a是预测值,y是样本标签值,J是损失函数值。 +符号规则:a是预测值,y是样本标签值,loss是损失函数值。 - Gold Standard Loss,又称0-1误差 $$ @@ -53,17 +53,17 @@ $$ - Log Loss,对数损失函数,又叫交叉熵损失函数(cross entropy error) $$ -loss = -\frac{1}{m} \sum_i^m y_i log(a_i) + (1-y_i)log(1-a_i) \qquad y_i \in \{0,1\} +loss = -[y \cdot \log (a) + (1-y) \cdot \log (1-a)] \qquad y \in \{0,1\} $$ - Squared Loss,均方差损失函数 $$ -loss=\frac{1}{2m} \sum_i^m (a_i-y_i)^2 +loss=(a-y)^2 $$ - Exponential Loss,指数损失函数 $$ -loss = \frac{1}{m}\sum_i^m e^{-(y_i \cdot a_i)} +loss = e^{-(y \cdot a)} $$ diff --git "a/A-\345\237\272\347\241\200\346\225\231\347\250\213/A2-\347\245\236\347\273\217\347\275\221\347\273\234\345\237\272\346\234\254\345\216\237\347\220\206\347\256\200\346\230\216\346\225\231\347\250\213/Step1 - BasicKnowledge/03.2-\344\272\244\345\217\211\347\206\265\346\215\237\345\244\261\345\207\275\346\225\260.md" "b/A-\345\237\272\347\241\200\346\225\231\347\250\213/A2-\347\245\236\347\273\217\347\275\221\347\273\234\345\237\272\346\234\254\345\216\237\347\220\206\347\256\200\346\230\216\346\225\231\347\250\213/Step1 - BasicKnowledge/03.2-\344\272\244\345\217\211\347\206\265\346\215\237\345\244\261\345\207\275\346\225\260.md" index 714311de7..6160a9d40 100644 --- "a/A-\345\237\272\347\241\200\346\225\231\347\250\213/A2-\347\245\236\347\273\217\347\275\221\347\273\234\345\237\272\346\234\254\345\216\237\347\220\206\347\256\200\346\230\216\346\225\231\347\250\213/Step1 - BasicKnowledge/03.2-\344\272\244\345\217\211\347\206\265\346\215\237\345\244\261\345\207\275\346\225\260.md" +++ "b/A-\345\237\272\347\241\200\346\225\231\347\250\213/A2-\347\245\236\347\273\217\347\275\221\347\273\234\345\237\272\346\234\254\345\216\237\347\220\206\347\256\200\346\230\216\346\225\231\347\250\213/Step1 - BasicKnowledge/03.2-\344\272\244\345\217\211\347\206\265\346\215\237\345\244\261\345\207\275\346\225\260.md" @@ -77,17 +77,17 @@ $$ $$H(p,q) =- \sum_{j=1}^n p(x_j) \ln q(x_j) \tag{6}$$ -在机器学习中,我们需要评估label和predicts之间的差距,使用KL散度刚刚好,即$D_{KL}(y||a)$,由于KL散度中的前一部分$H(y)$不变,故在优化过程中,只需要关注交叉熵就可以了。所以一般在机器学习中直接用交叉熵做损失函数来评估模型。 +在机器学习中,我们需要评估标签值$y$和预测值$a$之间的差距,使用KL散度刚刚好,即$D_{KL}(y||a)$,由于KL散度中的前一部分$H(y)$不变,故在优化过程中,只需要关注交叉熵就可以了。所以一般在机器学习中直接用交叉熵做损失函数来评估模型。 $$loss =- \sum_{j=1}^n y_j \ln a_j \tag{7}$$ -其中,$n$ 并不是样本个数,而是分类个数。所以,对于批量样本的交叉熵计算公式是: +公式7是单个样本的情况,$n$ 并不是样本个数,而是分类个数。所以,对于批量样本的交叉熵计算公式是: $$J =- \sum_{i=1}^m \sum_{j=1}^n y_{ij} \ln a_{ij} \tag{8}$$ $m$ 是样本数,$n$ 是分类数。 -有一类特殊问题,就是事件只有两种情况发生的可能,比如“学会了”和“没学会”,称为$0/1$分布或二分类。对于这类问题,由于$n=2$,所以交叉熵可以简化为: +有一类特殊问题,就是事件只有两种情况发生的可能,比如“学会了”和“没学会”,称为$0/1$分布或二分类。对于这类问题,由于$n=2,y_1=1-y_2,a_1=1-a_2$,所以交叉熵可以简化为: $$loss =-[y \ln a + (1-y) \ln (1-a)] \tag{9}$$ diff --git "a/A-\345\237\272\347\241\200\346\225\231\347\250\213/A2-\347\245\236\347\273\217\347\275\221\347\273\234\345\237\272\346\234\254\345\216\237\347\220\206\347\256\200\346\230\216\346\225\231\347\250\213/Step8 - CNN/17.5-\346\261\240\345\214\226\347\232\204\345\211\215\345\220\221\350\256\241\347\256\227\344\270\216\345\217\215\345\220\221\344\274\240\346\222\255.md" "b/A-\345\237\272\347\241\200\346\225\231\347\250\213/A2-\347\245\236\347\273\217\347\275\221\347\273\234\345\237\272\346\234\254\345\216\237\347\220\206\347\256\200\346\230\216\346\225\231\347\250\213/Step8 - CNN/17.5-\346\261\240\345\214\226\347\232\204\345\211\215\345\220\221\350\256\241\347\256\227\344\270\216\345\217\215\345\220\221\344\274\240\346\222\255.md" index 7929835c1..a61df91f0 100644 --- "a/A-\345\237\272\347\241\200\346\225\231\347\250\213/A2-\347\245\236\347\273\217\347\275\221\347\273\234\345\237\272\346\234\254\345\216\237\347\220\206\347\256\200\346\230\216\346\225\231\347\250\213/Step8 - CNN/17.5-\346\261\240\345\214\226\347\232\204\345\211\215\345\220\221\350\256\241\347\256\227\344\270\216\345\217\215\345\220\221\344\274\240\346\222\255.md" +++ "b/A-\345\237\272\347\241\200\346\225\231\347\250\213/A2-\347\245\236\347\273\217\347\275\221\347\273\234\345\237\272\346\234\254\345\216\237\347\220\206\347\256\200\346\230\216\346\225\231\347\250\213/Step8 - CNN/17.5-\346\261\240\345\214\226\347\232\204\345\211\215\345\220\221\350\256\241\347\256\227\344\270\216\345\217\215\345\220\221\344\274\240\346\222\255.md" @@ -20,7 +20,7 @@ - 扩大视野:就如同先从近处看一张图片,然后离远一些再看同一张图片,有些细节就会被忽略 - 降维:在保留图片局部特征的前提下,使得图片更小,更易于计算 -- 平移不变性,轻微扰动不会影响输出:比如上如中最大值池化的4,即使向右偏一个像素,其输出值仍为4 +- 平移不变性,轻微扰动不会影响输出:比如上图中最大值池化的4,即使向右偏一个像素,其输出值仍为4 - 维持同尺寸图片,便于后端处理:假设输入的图片不是一样大小的,就需要用池化来转换成同尺寸图片 一般我们都使用最大值池化。 diff --git "a/A-\345\237\272\347\241\200\346\225\231\347\250\213/A3-\347\245\236\347\273\217\347\275\221\347\273\234\351\253\230\347\272\247\346\250\241\345\236\213\357\274\210\345\273\272\350\256\276\344\270\255\357\274\211/Readme.md" "b/A-\345\237\272\347\241\200\346\225\231\347\250\213/A3-\347\245\236\347\273\217\347\275\221\347\273\234\351\253\230\347\272\247\346\250\241\345\236\213\357\274\210\345\273\272\350\256\276\344\270\255\357\274\211/Readme.md" new file mode 100644 index 000000000..cf8c51442 --- /dev/null +++ "b/A-\345\237\272\347\241\200\346\225\231\347\250\213/A3-\347\245\236\347\273\217\347\275\221\347\273\234\351\253\230\347\272\247\346\250\241\345\236\213\357\274\210\345\273\272\350\256\276\344\270\255\357\274\211/Readme.md" @@ -0,0 +1 @@ +**请注意:本目录中的内容尚未成熟,尚不能作为教学、自学参考。待成熟后会把父目录中的(建设中)字样去掉**