英文+数字的分词

[taiyun]

默认的时候貌似吧英文和数字分开了，比如AK47、N95、X-900会把数字和字母裂开。

实际上，这种字母和数字以及连字符合在一起的经常是型号啥的，不太容易搜集齐全放进词库。因此建议英文和数字直接连在一起的不要切开~

不是是否妥当？

[qinwf]

嗯嗯，这样是会好一些！

[qinwf]

C++的最新版本的代码已经实现这个细粒度的规则了，晚些时候更新 C++ 的代码就可以了。

[qinwf]

x-900 暂时不支持。

可以看这个 python 的实现的demo，最后一刚的例子，这个规则粒度太细，可能不适合添加。

http://jiebademo.ap01.aws.af.cm/

x-11 = 22

[qinwf]

GitHub 版更新了，你可以试一下。

cutter = worker()
cutter["AK47 N95"]

[taiyun]

威武啊！

[taiyun]

重新发现的一个问题，小数会切开，而且小数点当成stopwords丢掉了。比如4.55，这个不应该分成4 55。

[qinwf]

把符号symbol 设置为 TRUE 呢？

> library("jiebaR")
载入需要的程辑包：jiebaRD
> cutter = worker()
> cutter["4.55"]
[1] "4"  "55"
> cutter$symbol =T
> cutter["4.55"]
[1] "4.55"

[qinwf]

数字 如 1.0 是支持的.。默认不输出符号，把 symbol 设置成为 TRUE 就可以了。

cutter = worker()
cutter$symbol = TRUE
cutter["把它升级到2.0"]
[1] "把"   "它"   "升级" "到"   "2.0" 

xxxx-xxx-xxx 日期支持，在最近的 commit 添加了。

library(devtools)
install_github("qinwf/jiebaRD")
install_github("qinwf/jiebaR")
library("jiebaR")

cutter = worker()
cutter$symbol = TRUE
cutter["今天是2015-07-05"]
[1] "今天"       "是"         "2015-07-05"

[taiyun]

支持全模式和搜索引擎模式吗？

 精确模式，试图将句子最精确地切开，适合文本分析；
 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

[qinwf]

全模式的接口有，但是R里面还不能用，我过几天写一下吧。搜索引擎模式就是 QuerySegment。