Skip to content

Commit

Permalink
Update 第六章_循环神经网络(RNN).md
Browse files Browse the repository at this point in the history
  • Loading branch information
tectal authored Oct 26, 2018
1 parent 6fe099e commit e5c98f9
Showing 1 changed file with 6 additions and 0 deletions.
6 changes: 6 additions & 0 deletions MarkDown/第六章_循环神经网络(RNN).md
Original file line number Diff line number Diff line change
Expand Up @@ -42,17 +42,23 @@ RNNs已经被在实践中证明对NLP是非常成功的。如词向量表达、

## 6.4 RNNs在NLP中典型应用?
**(1)语言模型与文本生成(Language Modeling and Generating Text)**

给一个单词序列,需要根据前面的单词预测每一个单词的可能性。语言模型能够一个语句正确的可能性,这是机器翻译的一部分,往往可能性越大,语句越正确。另一种应用便是使用生成模型预测下一个单词的概率,从而生成新的文本根据输出概率的采样。
**(2)机器翻译(Machine Translation)**

机器翻译是将一种源语言语句变成意思相同的另一种源语言语句,如将英语语句变成同样意思的中文语句。与语言模型关键的区别在于,需要将源语言语句序列输入后,才进行输出,即输出第一个单词时,便需要从完整的输入序列中进行获取。
**(3)语音识别(Speech Recognition)**

语音识别是指给一段声波的声音信号,预测该声波对应的某种指定源语言的语句以及该语句的概率值。
**(4)图像描述生成 (Generating Image Descriptions)**

和卷积神经网络(convolutional Neural Networks, CNNs)一样,RNNs已经在对无标图像描述自动生成中得到应用。将CNNs与RNNs结合进行图像描述自动生成。
![](../img/ch6/figure_6.4_1.png)

## 6.5 RNNs训练和传统ANN训练异同点?

**相同点**:同样使用BP误差反向传播算法。

**不同点**
1、如果将RNNs进行网络展开,那么参数W,U,V是共享的,而传统神经网络却不是的。
2、在使用梯度下降算法中,每一步的输出不仅依赖当前步的网络,并且还以来前面若干步网络的状态。
Expand Down

0 comments on commit e5c98f9

Please sign in to comment.