Update 第六章_循环神经网络(RNN).md

MarkDown/第六章_循环神经网络(RNN).md

@@ -50,12 +50,15 @@ RNNs已经被在实践中证明对NLP是非常成功的。如词向量表达、
 给一个单词序列，需要根据前面的单词预测每一个单词的可能性。语言模型能够一个语句正确的可能性，这是机器翻译的一部分，往往可能性越大，语句越正确。另一种应用便是使用生成模型预测下一个单词的概率，从而生成新的文本根据输出概率的采样。
 
 **（2）机器翻译(Machine Translation)**
+
 机器翻译是将一种源语言语句变成意思相同的另一种源语言语句，如将英语语句变成同样意思的中文语句。与语言模型关键的区别在于，需要将源语言语句序列输入后，才进行输出，即输出第一个单词时，便需要从完整的输入序列中进行获取。
 
 **（3）语音识别(Speech Recognition)**
+
 语音识别是指给一段声波的声音信号，预测该声波对应的某种指定源语言的语句以及该语句的概率值。 
 
 **（4）图像描述生成 (Generating Image Descriptions)**
+
 和卷积神经网络(convolutional Neural Networks, CNNs)一样，RNNs已经在对无标图像描述自动生成中得到应用。将CNNs与RNNs结合进行图像描述自动生成。
 ![](../img/ch6/figure_6.4_1.png)
 
@@ -64,6 +67,7 @@ RNNs已经被在实践中证明对NLP是非常成功的。如词向量表达、
 **相同点**：同样使用BP误差反向传播算法。
 
 **不同点**：
+
 1、如果将RNNs进行网络展开，那么参数W,U,V是共享的，而传统神经网络却不是的。
 2、在使用梯度下降算法中，每一步的输出不仅依赖当前步的网络，并且还以来前面若干步网络的状态。
 
@@ -72,20 +76,27 @@ RNNs已经被在实践中证明对NLP是非常成功的。如词向量表达、
 
 
 ### 6.6.1Simple RNNs(SRNs)
+
 SRNs是RNNs的一种特例，它是一个三层网络，并且在隐藏层增加了上下文单元，下图中的**y**便是隐藏层，**u**便是上下文单元。上下文单元节点与隐藏层中的节点的连接是固定(谁与谁连接)的，并且权值也是固定的(值是多少)，其实是一个上下文节点与隐藏层节点一一对应，并且值是确定的。在每一步中，使用标准的前向反馈进行传播，然后使用学习算法进行学习。上下文每一个节点保存其连接的隐藏层节点的上一步的输出，即保存上文，并作用于当前步对应的隐藏层节点的状态，即隐藏层的输入由输入层的输出与上一步的自己的状态所决定的。因此SRNs能够解决标准的多层感知机(MLP)无法解决的对序列数据进行预测的任务。 
 SRNs网络结构如下图所示：
+
 ![](../img/ch6/figure_6.6.1_1.png)
 
 ### 6.6.2Bidirectional RNNs
+
 Bidirectional RNNs(双向网络)的改进之处便是，假设当前的输出(第t步的输出)不仅仅与前面的序列有关，并且还与后面的序列有关。例如：预测一个语句中缺失的词语那么就需要根据上下文来进行预测。Bidirectional RNNs是一个相对较简单的RNNs，是由两个RNNs上下叠加在一起组成的。输出由这两个RNNs的隐藏层的状态决定的。如下图所示：
+
 ![](../img/ch6/figure_6.6.2_1.png)
 
 ### 6.6.3Deep(Bidirectional) RNNs
+
 Deep(Bidirectional)RNNs与Bidirectional RNNs相似，只是对于每一步的输入有多层网络。这样，该网络便有更强大的表达与学习能力，但是复杂性也提高了，同时需要更多的训练数据。Deep(Bidirectional)RNNs的结构如下图所示：
 ![](../img/ch6/figure_6.6.3_1.png)
 
 ### 6.6.4Echo State Networks（ESNs）
-ESNs(回声状态网络)虽然也是一种RNNs，但是它与传统的RNNs相差很大。**ESNs具有三个特点**：
+ESNs(回声状态网络)虽然也是一种RNNs，但是它与传统的RNNs相差很大。
+
+**ESNs具有三个特点**：
 
 （1）它的核心结构时一个随机生成、且保持不变的储备池(Reservoir)，储备池是大规模的、随机生成的、稀疏连接(SD通常保持1%～5%，SD表示储备池中互相连接的神经元占总的神经元个数N的比例)的循环结构；