add pylexto

Author: wannaphong

docs/pythainlp-1-4-thai.md

@@ -51,6 +51,7 @@ engine คือ ระบบตัดคำไทย ปัจจุบัน
 1. icu -  engine ตัวดั้งเดิมของ PyThaiNLP (ความแม่นยำต่ำ) และเป็นค่าเริ่มต้น
 2. dict - เป็นการตัดคำโดยใช้พจานุกรมจาก thaiword.txt ใน corpus  (ความแม่นยำปานกลาง)
 3. mm - ใช้ Maximum Matching algorithm ในการตัดคำภาษาไทย
+4. pylexto ใช้ LexTo ในการตัดคำ
 
 คืนค่าเป็น ''list'' เช่น ['แมว','กิน']
 

pythainlp/tokenize/__init__.py

@@ -4,16 +4,19 @@ def word_tokenize(text,engine='icu'):
 	"""
 	ระบบตัดคำภาษาไทย
 
-	word_tokenize(text,engine='icu')
+	word_tokenize(text,engine='mm')
 	engine มี
 	- icu
 	- dict
 	- mm ใช้ Maximum Matching algorithm
+	- pylexto ใช้ LexTo ในการตัดคำ
 	"""
 	if engine=='icu':
     		from .pyicu import segment
 	elif engine=='dict':
     		from .dict import segment
 	elif engine=='mm':
     		from .mm import segment
+	elif engine=='pylexto':
+    		from .pylexto import segment
 	return segment(text)

pythainlp/tokenize/pylexto.py

@@ -0,0 +1,16 @@
+# -*- coding: utf-8 -*-
+from __future__ import absolute_import,unicode_literals
+import sys
+try:
+    from pylexto import LexTo
+except ImportError:
+	import pip
+	pip.main(['install','https://github.com/wannaphongcom/pylexto/archive/master.zip'])
+	try:
+		from pylexto import LexTo
+	except ImportError:
+		sys.exit('Error ! using pip install https://github.com/wannaphongcom/pylexto/archive/master.zip')
+def segment(text):
+    lexto = LexTo()
+    words, types = lexto.tokenize(text)
+    return words