Skip to content

Commit e3e02f4

Browse files
Update README.md
1 parent 35a6f73 commit e3e02f4

File tree

1 file changed

+3
-1
lines changed

1 file changed

+3
-1
lines changed

16-19/README.md

Lines changed: 3 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -1,10 +1,12 @@
11
## 这一次给大家讲一讲一些常用的优化的方法。
22
### Regularization
3-
L1 与 L2 Loss Function 的一些问题。给FC用的。
3+
L1 与 L2 Loss Function 的一些问题。给FC用的。但是我实际上不太懂。[Quora答案](http://www.cs.toronto.edu/~rsalakhu/papers/srivastava14a.pdf)[一篇博客](http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/)挺有帮助的。
4+
45
### Dropout
56
随机扔掉传向末尾FC层的信号,使得末尾FC层不能完全相信所得输入。这个方法神奇地提高了正确率。可以将其理解为一种 Week Learner Ensemble 的方法。
67

78
想深究的同学[插这里](http://www.cs.toronto.edu/~rsalakhu/papers/srivastava14a.pdf)
9+
810
### Update Function / Optimization Function
911
1. 普通的 Gradient Descent
1012
2. Momentum Update

0 commit comments

Comments
 (0)