Merge branch 'dev' of https://github.com/apachecn/AiLearning into dev

README.md

@@ -15,7 +15,7 @@
 * -- 感谢 [群小哥哥：Wizard Zhang](https://github.com/wizardforcel) 生成的电子书[《机器学习实战-ApacheCN.pdf》](https://github.com/apachecn/AiLearning/blob/master/books/机器学习实战-ApacheCN.pdf)
 * **视频已更新完成，如果你觉得有价值，请帮忙点 Star【后续组织学习活动：sklearn、kaggle、 Pytorch 和 tensorflow】**
 * -- 视频网站：优酷 ／bilibili / Acfun / 网易云课堂，可直接在线播放。（最下方有相应链接）
-* -- [群小哥哥：红色石头的机器学习之路](https://github.com/RedstoneWill): [台湾大学林轩田机器学习基石课程 - **系列学习笔记**](https://mp.weixin.qq.com/s/xb0i55zIQVzCiSZALbvncg)
+* -- [群小哥哥：红色石头](https://github.com/RedstoneWill): [台湾大学林轩田机器学习笔记](https://github.com/apachecn/ntu-hsuantienlin-ml)
 * 推荐一个[机器学习笔记](https://feisky.xyz/machine-learning): https://feisky.xyz/machine-learning
 * 推荐一个[liuhuanyong大佬](https://github.com/liuhuanyong)整理的nlp全面知识体系: <https://liuhuanyong.github.io>
 
@@ -506,4 +506,4 @@ GPL-3.0 © [ApacheCN](https://github.com/apachecn)
 
 * ApacheCN 组织资源: <https://github.com/apachecn/home>
 
-> 欢迎任何人参与和完善：一个人可以走的很快，但是一群人却可以走的更远
+> 欢迎任何人参与和完善：一个人可以走的很快，但是一群人却可以走的更远

blog/linear-logistic-mle.md

@@ -0,0 +1,47 @@
+# 线性回归和逻辑回归的 MLE 视角
+
+## 线性回归
+
+令 $z = w^T x + b$，得到：
+
+$y = z + \epsilon, \, \epsilon \sim N(0, \sigma^2)$
+
+于是：
+
+$y|x \sim N(z, \sigma^2)$
+
+为啥是 $y|x$，因为判别模型的输出只能是 $y|x$。
+
+它的概率密度函数：
+
+$f_{Y|X}(y)=\frac{1}{\sqrt{2 \pi} \sigma} \exp(\frac{-(y -z)^2}{2\sigma^2}) \\ = A \exp(-B (y - z)^2), \, A, B > 0$
+
+计算损失函数：
+
+$L = -\sum_i \log f_{Y|X}(y^{(i)}) \\ = -\sum_i(\log A - B(y^{(i)} - z^{(i)})^2) \\ = B \sum_i(y^{(i)} - z^{(i)})^2 + C$
+
+所以 $\min L$ 就相当于 $\min (y^{(i)} - z^{(i)})^2$。结果和最小二乘是一样的。
+
+## 逻辑回归
+
+令 $z = w^T x + b, a = \sigma(z)$，我们观察到在假设中：
+
+$P(y=1|x) = a \\ P(y=0|x) = 1 - a$
+
+也就是说：
+
+$y|x \sim B(1, a)$
+
+> 其实任何二分类器的输出都是伯努利分布。因为变量只能取两个值，加起来得一，所以只有一种分布。
+
+它的概率质量函数（因为是离散分布，只有概率质量函数，不过无所谓）：
+
+$p_{Y|X}(y) = a^y(1-a)^{1-y}$
+
+然后计算损失函数：
+
+$L = -\sum_i \log p_{Y|X}(y^{(i)}) \\ = -\sum_i(y^{(i)} \log a^{(i)} + (1-y^{(i)})\log(1-a^{(i)}))$
+
+和交叉熵是一致的。
+
+可以看出，在线性回归的场景下，MLE 等价于最小二乘，在逻辑回归的场景下，MLE 等价于交叉熵。但不一定 MLE 在所有模型中都是这样。