From dcfda5db7c3a29cacc69338eac78f35697ba7197 Mon Sep 17 00:00:00 2001 From: LongJH <75326747@qq.com> Date: Tue, 12 Mar 2019 14:09:27 +0800 Subject: [PATCH] Update chapter1.md MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 西瓜书第8页NFL定理解析 --- docs/chapter1/chapter1.md | 9 ++++++++- 1 file changed, 8 insertions(+), 1 deletion(-) diff --git a/docs/chapter1/chapter1.md b/docs/chapter1/chapter1.md index 97896a0..1bc13a6 100644 --- a/docs/chapter1/chapter1.md +++ b/docs/chapter1/chapter1.md @@ -1 +1,8 @@ -nothing \ No newline at end of file +## 1.2 + +没有免费午餐定理(NFL)定理证明 + +[解析]:这里要说明一下:$L_a$ 表示训练出来的算法,$f$ 是表示真实目标函数。这条定理希望求出的是:某个算法对于某一类问题下所有真实目标函数的误差总和。书中给出的是简化版证明,仅考虑二分类问题。理解的难点在于第二个等号到第三个等号之间的转化。在二分类问题下,真实目标可以是任意一个将 |X|个样本映射到 {0,1} 的函数,一共有 $2^{|X|}$ 个 $f$,而且每一个 $f$ 出现的概率相等。所以对于任意一个样本 x,都有一半的 $f$ 下 x=1,另一半的 $f$ 下 x=0。从而有 +$$ +\sum_f Ⅱ(h(x) ≠ f(x)) = \frac{1}{2}2^{|X|} +$$