File tree 1 file changed +3
-16
lines changed
1 file changed +3
-16
lines changed Original file line number Diff line number Diff line change 5
5
"metadata" : {},
6
6
"source" : [
7
7
"#### 앞서구현한 preprocess.py의 함수를 이용해 학습데이터를 준비
8
- # 1데이터를 판다스를통해 불러와서 데이터프레임형태로만듬 /question,answer반환
9
- def load_data(path):
10
- # 2데이터를 단어리스트로만듬
11
- def data_tokenizer(data):
12
- # 3텍스트를 형태소로 분리
13
- def prepro_like_morphlized(data):
14
- # 4단어사전을 만드는함수
15
- def load_vocabulary(path, vocab_path, tokenize_as_morph=False):
16
- # 5단어리스트를 인자로 두개의 딕셔너리를만듬
17
- def make_vocabulary(vocabulary_list):
18
- # 6인코더적용 입력값 만듬
19
- def enc_processing(value, dictionary, tokenize_as_morph=False):
20
- # 7디코더의 입력값을 만드는함수
21
- def dec_output_processing(value, dictionary, tokenize_as_morph=False):
22
- # 8디코더의 타깃값을 만드는 전처리함수
23
- def dec_target_processing(value, dictionary, tokenize_as_morph=False):"
8
+ 1 def load_data(path)(데이터를불러와 데이터프레임형태로만듬)/ 2def data_tokenizer(data)(데이터를 단어리스트로만듬)
9
+ 3 def prepro_like_morphlized(data)(텍스트를 형태소로분리) / 4def load_vocabulary(단어사전을만듬) / 5def make_vocabulary(단어리스트를 인자로 두개의 딕셔너리만듬)
10
+ 6 def enc_processing(인코더적용 입력값만듬) / 7def dec_output_processing(디코더의 입력값만듬) / 8def dec_target_processing(디코더의 타깃값을만드는 전처리함수)
24
11
]
25
12
},
26
13
{
You can’t perform that action at this time.
0 commit comments