Skip to content

Commit 53bb675

Browse files
authored
Update 6.3.preprocess.ipynb
1 parent 6b90f83 commit 53bb675

File tree

1 file changed

+3
-16
lines changed

1 file changed

+3
-16
lines changed

6.CHATBOT/6.3.preprocess.ipynb

Lines changed: 3 additions & 16 deletions
Original file line numberDiff line numberDiff line change
@@ -5,22 +5,9 @@
55
"metadata": {},
66
"source": [
77
"#### 앞서구현한 preprocess.py의 함수를 이용해 학습데이터를 준비
8-
# 1데이터를 판다스를통해 불러와서 데이터프레임형태로만듬 /question,answer반환
9-
def load_data(path):
10-
# 2데이터를 단어리스트로만듬
11-
def data_tokenizer(data):
12-
# 3텍스트를 형태소로 분리
13-
def prepro_like_morphlized(data):
14-
# 4단어사전을 만드는함수
15-
def load_vocabulary(path, vocab_path, tokenize_as_morph=False):
16-
# 5단어리스트를 인자로 두개의 딕셔너리를만듬
17-
def make_vocabulary(vocabulary_list):
18-
# 6인코더적용 입력값 만듬
19-
def enc_processing(value, dictionary, tokenize_as_morph=False):
20-
# 7디코더의 입력값을 만드는함수
21-
def dec_output_processing(value, dictionary, tokenize_as_morph=False):
22-
# 8디코더의 타깃값을 만드는 전처리함수
23-
def dec_target_processing(value, dictionary, tokenize_as_morph=False):"
8+
1def load_data(path)(데이터를불러와 데이터프레임형태로만듬)/ 2def data_tokenizer(data)(데이터를 단어리스트로만듬)
9+
3def prepro_like_morphlized(data)(텍스트를 형태소로분리) / 4def load_vocabulary(단어사전을만듬) / 5def make_vocabulary(단어리스트를 인자로 두개의 딕셔너리만듬)
10+
6def enc_processing(인코더적용 입력값만듬) / 7def dec_output_processing(디코더의 입력값만듬) / 8def dec_target_processing(디코더의 타깃값을만드는 전처리함수)
2411
]
2512
},
2613
{

0 commit comments

Comments
 (0)