bpe-tokenizer

LLM Tokenizer with BPE algorithm

大模型要输入token，那么如何把文本转成token呢？ BPE算法就是用来解决这个问题的。