Skip to content

Commit

Permalink
Update chapter1.md
Browse files Browse the repository at this point in the history
西瓜书第8页NFL定理解析
  • Loading branch information
LongJH authored Mar 12, 2019
1 parent 0d89d5c commit dcfda5d
Showing 1 changed file with 8 additions and 1 deletion.
9 changes: 8 additions & 1 deletion docs/chapter1/chapter1.md
Original file line number Diff line number Diff line change
@@ -1 +1,8 @@
nothing
## 1.2

没有免费午餐定理(NFL)定理证明

[解析]:这里要说明一下:$L_a$ 表示训练出来的算法,$f$ 是表示真实目标函数。这条定理希望求出的是:某个算法对于某一类问题下所有真实目标函数的误差总和。书中给出的是简化版证明,仅考虑二分类问题。理解的难点在于第二个等号到第三个等号之间的转化。在二分类问题下,真实目标可以是任意一个将 |X|个样本映射到 {0,1} 的函数,一共有 $2^{|X|}$ 个 $f$,而且每一个 $f$ 出现的概率相等。所以对于任意一个样本 x,都有一半的 $f$ 下 x=1,另一半的 $f$ 下 x=0。从而有
$$
\sum_f Ⅱ(h(x) ≠ f(x)) = \frac{1}{2}2^{|X|}
$$

0 comments on commit dcfda5d

Please sign in to comment.