Skip to content

Commit

Permalink
update
Browse files Browse the repository at this point in the history
  • Loading branch information
liber145 committed Sep 24, 2017
1 parent 14b2b11 commit 54eb6c4
Show file tree
Hide file tree
Showing 2 changed files with 5 additions and 5 deletions.
8 changes: 4 additions & 4 deletions Chapter15/representation_learning.tex
Original file line number Diff line number Diff line change
Expand Up @@ -681,7 +681,7 @@ \section{\glsentrytext{distributed_representation}}
\fi
\caption{基于\gls{distributed_representation}的学习算法如何将输入空间分割成多个区域的图示。
这个例子具有二元变量$h_1$$h_2$$h_3$
每个特征通过为\gls{learned}的线性变换设定输出阀值而定义
每个特征通过为\gls{learned}的线性变换设定输出阈值而定义
每个特征将$\SetR^2$分成两个半平面。
$h_i^+$表示输入点$h_i=1$的集合;$h_i^-$表示输入点$h_i=0$的集合。
在这个图示中,每条线代表着一个$h_i$的决策边界,对应的箭头指向边界的$h_i^+$区域。
Expand All @@ -692,7 +692,7 @@ \section{\glsentrytext{distributed_representation}}
具有$n$个特征的\gls{distributed_representation}给$O(n^d)$个不同区域分配唯一的编码,而具有$n$个样本的\gls{nearest_neighbor}算法只能给$n$个不同区域分配唯一的编码。
因此,\gls{distributed_representation}能够比\gls{nondistributed_representation}多分配指数级的区域。
注意并非所有的$\Vh$值都是可取的(这个例子中没有$\Vh=\mathbf{0}$),在\gls{distributed_representation}上的\gls{linear_classifier}不能向每个相邻区域分配不同的类别标识;
甚至深度线性阀值网络的~\glssymbol{VC}~维只有$O(w\log w)$(其中$w$是权重数目)\citep{sontag1998vc}。
甚至深度线性阈值网络的~\glssymbol{VC}~维只有$O(w\log w)$(其中$w$是权重数目)\citep{sontag1998vc}。
强表示层和弱分类器层的组合是一个强\gls{regularizer}。
试图学习``''``非人''概念的分类器不需要给表示为``戴眼镜的女人''``没有戴眼镜的男人''的输入分配不同的类别。
容量限制鼓励每个分类器关注少数几个$h_i$,鼓励$\Vh$以线性可分的方式学习表示这些类别。
Expand Down Expand Up @@ -784,7 +784,7 @@ \section{\glsentrytext{distributed_representation}}

% -- 540 mid

让我们检查\gls{distributed_representation}学习算法的一个特殊情况,它通过对输入的线性函数进行阀值处理来提取二元特征
让我们检查\gls{distributed_representation}学习算法的一个特殊情况,它通过对输入的线性函数进行阈值处理来提取二元特征
该表示中的每个二元特征将$\SetR^d$分成一对半空间,如\figref{fig:chap15_distributed}所示。
$n$个相应半空间的指数级数量的交集确定了该\gls{distributed_representation}\gls{learner}能够区分多少区域。
空间$\SetR^d$中的$n$个超平面的排列组合能够生成多少区间?
Expand All @@ -796,7 +796,7 @@ \section{\glsentrytext{distributed_representation}}

% -- 541 head

这提供了\gls{distributed_representation}\gls{generalization}能力的一种几何解释:$O(nd)$个参数(空间$\SetR^d$中的$n$个线性阀值特征)能够明确表示输入空间中$O(n^d)$个不同区域。
这提供了\gls{distributed_representation}\gls{generalization}能力的一种几何解释:$O(nd)$个参数(空间$\SetR^d$中的$n$个线性阈值特征)能够明确表示输入空间中$O(n^d)$个不同区域。
如果我们没有对数据做任何假设,并且每个区域使用唯一的符号来表示,每个符号使用单独的参数去识别$\SetR^d$中的对应区域,那么指定$O(n^d)$个区域需要$O(n^d)$个样本。
更一般地,\gls{distributed_representation}的优势还可以体现在我们对\gls{distributed_representation}中的每个特征使用非线性的、可能连续的\gls{feature_extractor},而不是\gls{linear_threshold_units}的情况。
在这种情况下,如果具有$k$个参数的参数变换可以学习输入空间中的$r$个区域($k\ll r$),并且如果学习这样的表示有助于关注的任务,那么这种方式会比\gls{nondistributed}\gls{setting}(我们需要$O(r)$个样本来获得相同的特征,将输入空间相关联地划分成$r$个区域。)\gls{generalize}得更好。
Expand Down
2 changes: 1 addition & 1 deletion terminology.tex
Original file line number Diff line number Diff line change
Expand Up @@ -1976,7 +1976,7 @@

\newglossaryentry{linear_threshold_units}
{
name=线性阀值单元,
name=线性阈值单元,
description={linear threshold units},
sort={linear threshold units},
}
Expand Down

0 comments on commit 54eb6c4

Please sign in to comment.