Skip to content

Commit

Permalink
5.1修改完week4
Browse files Browse the repository at this point in the history
  • Loading branch information
fengdu78 committed Mar 28, 2018
1 parent 81f024a commit f132927
Show file tree
Hide file tree
Showing 6 changed files with 16 additions and 22 deletions.
Binary file modified docx/week1.docx
Binary file not shown.
Binary file modified docx/机器学习个人笔记完整版v5.1.docx
Binary file not shown.
14 changes: 7 additions & 7 deletions html/week1.html

Large diffs are not rendered by default.

20 changes: 8 additions & 12 deletions markdown/week1.md
Original file line number Diff line number Diff line change
Expand Up @@ -30,7 +30,7 @@

最后学习算法被用来理解人类的学习和了解大脑。

我们将谈论如何用这些推进我们的**AI** 梦想。几个月前,一名学生给我一篇文章关于最顶尖的12个IT技能。拥有了这些技能HR绝对不会拒绝你。这是稍显陈旧的文章,但在这个列表最顶部就是机器学习的技能。
我们将谈论如何用这些推进我们的**AI** 梦想。几个月前,一名学生给我一篇文章关于最顶尖的12个**IT**技能。拥有了这些技能**HR**绝对不会拒绝你。这是稍显陈旧的文章,但在这个列表最顶部就是机器学习的技能。

在斯坦福大学,招聘人员联系我,让我推荐机器学习学生毕业的人远远多于机器学习的毕业生。所以我认为需求远远没有被满足现在学习“机器学习”非常好,在这门课中,我希望能告诉你们很多机器学习的知识。

Expand Down Expand Up @@ -191,9 +191,9 @@

它被称作监督学习是因为对于每个数据来说,我们给出了“正确的答案”,即告诉我们:根据我们的数据来说,房子实际的价格是多少,而且,更具体来说,这是一个回归问题。回归一词指的是,我们根据之前的数据预测出一个准确的输出值,对于这个例子就是价格,同时,还有另一种最常见的监督学习方式,叫做分类问题,当我们想要预测离散的输出值,例如,我们正在寻找癌症肿瘤,并想要确定肿瘤是良性的还是恶性的,这就是0/1离散输出的问题。更进一步来说,在监督学习中我们有一个数据集,这个数据集被称训练集。

**我将在整个课程中用小写的m来表示训练样本的数目**
**我将在整个课程中用小写的$m$来表示训练样本的数目**

以之前的房屋交易问题为例,假使我们回归问题的训练集(Training Set)如下表所示:
以之前的房屋交易问题为例,假使我们回归问题的训练集(**Training Set**)如下表所示:

![](../images/44c68412e65e62686a96ad16f278571f.png)

Expand Down Expand Up @@ -228,7 +228,7 @@ $h$ 代表学习算法的解决方案或函数也称为假设(**hypothesis**

![](../images/d385f8a293b254454746adee51a027d4.png)

在线性回归中我们有一个像这样的训练集,m代表了训练样本的数量,比如 $m = 47$。而我们的假设函数,也就是用来进行预测的函数,是这样的线性函数形式:$h_\theta \left( x \right)=\theta_{0}+\theta_{1}x$。
在线性回归中我们有一个像这样的训练集,$m$代表了训练样本的数量,比如 $m = 47$。而我们的假设函数,也就是用来进行预测的函数,是这样的线性函数形式:$h_\theta \left( x \right)=\theta_{0}+\theta_{1}x$。

接下来我们会引入一些术语我们现在要做的便是为我们的模型选择合适的**参数****parameters**)$\theta_{0}$ 和 $\theta_{1}$,在房价问题这个例子中便是直线的斜率和在$y$ 轴上的截距。

Expand Down Expand Up @@ -313,7 +313,7 @@ ${\theta_{0}}$:= ${\theta_{0}}$ ,并更新${\theta_{1}}$:= ${\theta_{1}}$。

在接下来的视频中,我们要进入这个微分项的细节之中。我已经写了出来但没有真正定义,如果你已经修过微积分课程,如果你熟悉偏导数和导数,这其实就是这个微分项:

![](../images/13176da01bb25128c91aca5476c9d464.png)
$\alpha \frac{\partial }{\partial {{\theta }_{0}}}J({{\theta }_{0}},{{\theta }_{1}})$,$\alpha \frac{\partial }{\partial {{\theta }_{1}}}J({{\theta }_{0}},{{\theta }_{1}})$。

如果你不熟悉微积分,不用担心,即使你之前没有看过微积分,或者没有接触过偏导数,在接下来的视频中,你会得到一切你需要知道,如何计算这个微分项的知识。

Expand All @@ -323,7 +323,7 @@ ${\theta_{0}}$:= ${\theta_{0}}$ ,并更新${\theta_{1}}$:= ${\theta_{1}}$。

参考视频: 2 - 6 - Gradient Descent Intuition (12 min).mkv

在之前的视频中,我们给出了一个数学上关于梯度下降的定义,本次视频我们更深入研究一下,更直观地感受一下这个算法是做什么的,以及梯度下降算法的更新过程有什么意义。梯度下降算法如下图
在之前的视频中,我们给出了一个数学上关于梯度下降的定义,本次视频我们更深入研究一下,更直观地感受一下这个算法是做什么的,以及梯度下降算法的更新过程有什么意义。梯度下降算法如下

${\theta_{j}}:={\theta_{j}}-\alpha \frac{\partial }{\partial {\theta_{j}}}J\left(\theta \right)$

Expand Down Expand Up @@ -373,13 +373,9 @@ ${\theta_{j}}:={\theta_{j}}-\alpha \frac{\partial }{\partial {\theta_{j}}}J\left

$\frac{\partial }{\partial {{\theta }_{j}}}J({{\theta }_{0}},{{\theta }_{1}})=\frac{\partial }{\partial {{\theta }_{j}}}\frac{1}{2m}{{\sum\limits_{i=1}^{m}{\left( {{h}_{\theta }}({{x}^{(i)}})-{{y}^{(i)}} \right)}}^{2}}$

$\frac{\partial }{\partial {{\theta }_{0}}}J({{\theta }_{0}},{{\theta }_{1}})=\frac{1}{m}{{\sum\limits_{i=1}^{m}{\left( {{h}_{\theta }}({{x}^{(i)}})-{{y}^{(i)}} \right)}}}$

$j=0$ 时:

$\frac{\partial }{\partial {{\theta }_{1}}}J({{\theta }_{0}},{{\theta }_{1}})=\frac{1}{m}\sum\limits_{i=1}^{m}{\left( \left( {{h}_{\theta }}({{x}^{(i)}})-{{y}^{(i)}} \right)\cdot {{x}^{(i)}} \right)}$
$j=0$ 时:$\frac{\partial }{\partial {{\theta }_{0}}}J({{\theta }_{0}},{{\theta }_{1}})=\frac{1}{m}{{\sum\limits_{i=1}^{m}{\left( {{h}_{\theta }}({{x}^{(i)}})-{{y}^{(i)}} \right)}}}$

$j=1$ 时:
$j=1$ 时:$\frac{\partial }{\partial {{\theta }_{1}}}J({{\theta }_{0}},{{\theta }_{1}})=\frac{1}{m}\sum\limits_{i=1}^{m}{\left( \left( {{h}_{\theta }}({{x}^{(i)}})-{{y}^{(i)}} \right)\cdot {{x}^{(i)}} \right)}$

则算法改写成:

Expand Down
4 changes: 1 addition & 3 deletions markdown/week2.md
Original file line number Diff line number Diff line change
Expand Up @@ -32,7 +32,7 @@ ${x}_{j}^{\left( i \right)}$代表特征矩阵中第 $i$ 行的第 $j$ 个特征

这个公式中有$n+1$个参数和$n$个变量,为了使得公式能够简化一些,引入$x_{0}=1$,则公式转化为:$h_{\theta} \left( x \right)={\theta_{0}}{x_{0}}+{\theta_{1}}{x_{1}}+{\theta_{2}}{x_{2}}+...+{\theta_{n}}{x_{n}}$

此时模型中的参数是一个$n+1$维的向量,任何一个训练实例也都是$n+1$维的向量,特征矩阵X的维度是 $m*(n+1)$。 因此公式可以简化为:$h_{\theta} \left( x \right)={\theta^{T}}X$,其中上标$T$代表矩阵转置。
此时模型中的参数是一个$n+1$维的向量,任何一个训练实例也都是$n+1$维的向量,特征矩阵$X$的维度是 $m*(n+1)$。 因此公式可以简化为:$h_{\theta} \left( x \right)={\theta^{T}}X$,其中上标$T$代表矩阵转置。

### 4.2 多变量梯度下降

Expand Down Expand Up @@ -129,8 +129,6 @@ ${x_{1}}=frontage$(临街宽度),${x_{2}}=depth$(纵向深度),$x=fr

![](../images/3a47e15258012b06b34d4e05fb3af2cf.jpg)

或者三次方模型:

通常我们需要先观察数据然后再决定准备尝试怎样的模型。 另外,我们可以令:

${{x}_{2}}=x_{2}^{2},{{x}_{3}}=x_{3}^{3}$,从而将模型转化为线性回归模型。
Expand Down
Binary file modified 机器学习个人笔记完整版v5.1.pdf
Binary file not shown.

0 comments on commit f132927

Please sign in to comment.