아래의 예시와 같은 기능이 제공되는 vectorizer 가 있으면 편리할 것 같습니다.
vectorizer = Vectorizer(tokenizer=NounMatchTokenizer(noun_score))
vectorizer.tokenize("예문입니다캭") = ["예문", "입니다", "캭"]
vectorizer.encode("예문입니다") = [35, 54, 1]
vectorizer.convert_token_ids_to_str([35, 54, 1]) = ["예문", "입니다", "[Unk]"]
csr_matrix = vectorizer.to_bow(["예문입니다", "두문장입니다"])
아래의 예시와 같은 기능이 제공되는 vectorizer 가 있으면 편리할 것 같습니다.