Skip to content

Commit c5c0b09

Browse files
authored
Update 6.4.seq2seq.ipynb
1 parent 1ced86c commit c5c0b09

File tree

1 file changed

+2
-2
lines changed

1 file changed

+2
-2
lines changed

6.CHATBOT/6.4.seq2seq.ipynb

Lines changed: 2 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -159,7 +159,7 @@
159159
"cell_type": "markdown",
160160
"metadata": {},
161161
"source": [
162-
"#### 시퀀스투시퀀스모델의 인코더 / 입력인자 :배치크기batch_sz,순환신경망의결과차원enc_units,사전크기vocab_size,임베딩차원embedding_dim <br> 함수 tf.keras.layers.Embedding함수는 사전에포함된 각단어를 self.embedding_dim차원의 임베딩벡터로만듬 <br> tf.keras.layers.GRU함수는 GRU신경망을 만듬 <br> return_sequences는 각시퀀스마다 출력을반환할지여부를결정 (해당모델은 각시퀀스마다 출력반환) <br> return_state는 마지막상태값의 반환여부 (해당모델은 상태값 반환) <br> recurent_initializer은 초기값을 뭘로할것인지 선언 <br> Glotrot Uniform방법을 이용한 초기화<br>call함수 (입력값x와 은닉상태 hidden을받음)<br>init함수에서만든 embedding함수를통해 x값을 임베딩벡터로만듬<br>gru함수에 임베딩벡터와 순환신경망의 초기화상태로 인자로받은 은닉상태를 전달<br>, 결과값으로 시퀀스의 출력값과 마지막상태를 리턴<br>initialize_hidden_state함수<br>배치크기를받아 순환신경망에 초기사용될 크기의 은닉상태를 만듬<br>기존시퀀스투시퀀스모델의 문장길어질때 정보손실문제를 어텐션을이용해 보완한다<br>은닉상태값을통해 어텐션계산하고 디코더 각시퀀스스텝마다 계산된 어텐션을 입력으로넣음<br>어텐션도함께학습진행하여 학습을통해 디코더의 각 시퀀스스텝마다 어텐션의 가중치는 다르게 적용됨"
162+
"#### 시퀀스투시퀀스모델의 인코더 <br><br>입력인자 :배치크기batch_sz,순환신경망의결과차원enc_units,사전크기vocab_size,임베딩차원embedding_dim <br><br> 함수 tf.keras.layers.Embedding함수는 사전에포함된 각단어를 self.embedding_dim차원의 임베딩벡터로만듬 <br><br> tf.keras.layers.GRU함수는 GRU신경망을 만듬 <br> return_sequences는 각시퀀스마다 출력을반환할지여부를결정 (해당모델은 각시퀀스마다 출력반환) <br> return_state는 마지막상태값의 반환여부 (해당모델은 상태값 반환) <br> recurent_initializer은 초기값을 뭘로할것인지 선언 <br> Glotrot Uniform방법을 이용한 초기화<br><br>call함수 (입력값x와 은닉상태 hidden을받음)<br>init함수에서만든 embedding함수를통해 x값을 임베딩벡터로만듬<br>gru함수에 임베딩벡터와 순환신경망의 초기화상태로 인자로받은 은닉상태를 전달<br>, 결과값으로 시퀀스의 출력값과 마지막상태를 리턴<br>initialize_hidden_state함수<br>배치크기를받아 순환신경망에 초기사용될 크기의 은닉상태를 만듬<br>기존시퀀스투시퀀스모델의 문장길어질때 정보손실문제를 어텐션을이용해 보완한다<br>은닉상태값을통해 어텐션계산하고 디코더 각시퀀스스텝마다 계산된 어텐션을 입력으로넣음<br>어텐션도함께학습진행하여 학습을통해 디코더의 각 시퀀스스텝마다 어텐션의 가중치는 다르게 적용됨"
163163
]
164164
},
165165
{
@@ -387,7 +387,7 @@
387387
"cell_type": "markdown",
388388
"metadata": {},
389389
"source": [
390-
"#### 학습 진행 / ModelCheckPoint 모델체크포인트저장정책 정의 / EarlyStopping 학습조기종료할정책정의 /model.fit 학습진행"
390+
"#### 학습 진행 <br> ModelCheckPoint 모델체크포인트저장정책 정의 <br> EarlyStopping 학습조기종료할정책정의 <br> model.fit 학습진행"
391391
]
392392
},
393393
{

0 commit comments

Comments
 (0)