Skip to content

Commit

Permalink
Update 第六章_循环神经网络(RNN).md
Browse files Browse the repository at this point in the history
  • Loading branch information
tectal authored Oct 26, 2018
1 parent b20afbf commit 65aab75
Showing 1 changed file with 1 addition and 1 deletion.
2 changes: 1 addition & 1 deletion MarkDown/第六章_循环神经网络(RNN).md
Original file line number Diff line number Diff line change
Expand Up @@ -105,4 +105,4 @@ CW-RNNs也是一个RNNs的改良版本,是一种使用时钟频率来驱动的
CW-RNNs与SRNs网络结构类似,也包括输入层(Input)、隐藏层(Hidden)、输出层(Output),它们之间也有向前连接,输入层到隐藏层的连接,隐藏层到输出层的连接。但是与SRN不同的是,隐藏层中的神经元会被划分为若干个组,设为$g$,每一组中的神经元个数相同,设为$k$,并为每一个组分配一个时钟周期$T_i\epsilon\{T_1,T_2,...,T_g\}$,每一个组中的所有神经元都是全连接,但是组$j$到组$i$的循环连接则需要满足$T_j$大于$T_i$。如下图所示,将这些组按照时钟周期递增从左到右进行排序,即$T_1<T_2<...<T_g$,那么连接便是从右到左。例如:隐藏层共有256个节点,分为四组,周期分别是[1,2,4,8],那么每个隐藏层组256/4=64个节点,第一组隐藏层与隐藏层的连接矩阵为64$\times$64的矩阵,第二层的矩阵则为64$\times$128矩阵,第三组为64$\times$(3$\times$64)=64$\times$192矩阵,第四组为64$\times$(4$\times$64)=64$\times$256矩阵。这就解释了上一段的后面部分,速度慢的组连到速度快的组,反之则不成立。

CW-RNNs的网络结构如下图所示:
![](https://github.com/tectal/DeepLearning-500-questions/blob/master/img/ch6/figure_6.6.7_1.png)
![](../img/ch6/figure_6.6.7_1.png)

0 comments on commit 65aab75

Please sign in to comment.