PyThaiNLP · wannaphong · Aug 1, 2020 · Jul 11, 2020 · Jul 11, 2020 · Jul 11, 2020
diff --git a/CONTRIBUTING.md b/CONTRIBUTING.md
@@ -88,22 +88,22 @@ Make sure the same tests pass on Travis CI and AppVeyor.
   - `bumpversion [major|minor|patch|release|build]`
   - Example:
   ```
-  #current_version = 2.2.2-dev0
+  #current_version = 2.2.3-dev0
 
   bumpversion build
-  #current_version = 2.2.2-dev1
+  #current_version = 2.2.3-dev1
 
   bumpversion build
-  #current_version = 2.2.2-dev2
+  #current_version = 2.2.3-dev2
 
   bumpversion release
-  #current_version = 2.2.2-beta0
+  #current_version = 2.2.3-beta0
 
   bumpversion release
-  #current_version = 2.2.2
+  #current_version = 2.2.3
 
   bumpversion patch
-  #current_version = 2.2.3-dev0
+  #current_version = 2.2.4-dev0
 
   bumpversion minor
   #current_version = 2.3.0-dev0

diff --git a/README.md b/README.md
diff --git a/README_TH.md b/README_TH.md
@@ -0,0 +1,168 @@
+
+<div align="center">
+  <img src="https://avatars0.githubusercontent.com/u/32934255?s=200&v=4"/>
+  <h1>PyThaiNLP: Thai Natural Language Processing in Python</h1>
+  <a href="https://pypi.python.org/pypi/pythainlp"><img alt="pypi" src="https://img.shields.io/pypi/v/pythainlp.svg"/></a>
+  <a href="https://www.python.org/downloads/release/python-360/"><img alt="Python 3.6" src="https://img.shields.io/badge/python-3.6-blue.svg"/></a>
+  <a href="https://opensource.org/licenses/Apache-2.0"><img alt="License" src="https://img.shields.io/badge/License-Apache%202.0-blue.svg"/></a>
+  <a href="https://pepy.tech/project/pythainlp"><img alt="Download" src="https://pepy.tech/badge/pythainlp/month"/></a>
+  <a href="https://ci.appveyor.com/project/wannaphongcom/pythainlp-9y1ch"><img alt="Build status" src="https://ci.appveyor.com/api/projects/status/9g3mfcwchi8em40x?svg=true"/></a>
+  <a href="https://coveralls.io/github/PyThaiNLP/pythainlp?branch=dev"><img alt="Coverage Status" src="https://coveralls.io/repos/github/PyThaiNLP/pythainlp/badge.svg?branch=dev"/></a>
+  <a href="https://www.codacy.com/app/pythainlp/pythainlp_2"><img alt="Codacy Badge" src="https://api.codacy.com/project/badge/Grade/cb946260c87a4cc5905ca608704406f7"/></a>
+  <a href="https://app.fossa.io/projects/git%2Bgithub.com%2FPyThaiNLP%2Fpythainlp"><img alt="FOSSA Status" src="https://app.fossa.io/api/projects/git%2Bgithub.com%2FPyThaiNLP%2Fpythainlp.svg?type=shield"/></a>
+  <a href="https://colab.research.google.com/github/PyThaiNLP/tutorials/blob/master/source/notebooks/pythainlp_get_started.ipynb"><img alt="Google Colab Badge" src="https://badgen.net/badge/Launch%20Quick%20Start%20Guide/on%20Google%20Colab/blue?icon=terminal"/></a>
+  <a href="https://zenodo.org/badge/latestdoi/61813823"><img alt="DOI" src="https://zenodo.org/badge/61813823.svg"/></a>
+</div>
+
+PyThaiNLP เป็นไลบารีภาษาไพทอนสำหรับประมวลผลภาษาธรรมชาติ โดยเน้นภาษาไทย
+
+**ข่าวสาร**
+
+>สวัสดีค่ะ ทีมพัฒนา PyThaiNLP ขอสอบถามความคิดเห็นของผู้ใช้งาน PyThaiNLP หรือผู้ที่ทำงานในด้านการประมวลผลภาษาไทย เพื่อนำข้อมูลไปปรับปรุงและพัฒนาฟีเจอร์ใหม่ๆ ให้ตรงกับความต้องการใช้งานมากขึ้น สามารถตอบแบบสอบถามได้ที่ https://forms.gle/aLdSHnvkNuK5CFyt9 (ใช้เวลาประมาณ 2-5 นาที)
+
+| รุ่น | คำอธิบาย | สถานะ |
+|:------:|:--:|:------:|
+| [2.2.3](https://github.com/PyThaiNLP/pythainlp/releases) | Stable | [Change Log](https://github.com/PyThaiNLP/pythainlp/issues/330) |
+| [`dev`](https://github.com/PyThaiNLP/pythainlp/tree/dev) | Release Candidate for 2.3  | [Change Log](https://github.com/PyThaiNLP/pythainlp/issues/445) |
+
+ติดตามพวกเราบน [PyThaiNLP Facebook page](https://www.facebook.com/pythainlp/) เพื่อรับข่าวสารเพิ่มเติม
+
+## เริ่มต้นกับ PyThaiNLP
+
+พวกเราได้จัดทำ [PyThaiNLP Get Started Tutorial](https://www.thainlp.org/pythainlp/tutorials/notebooks/pythainlp_get_started.html) สำหรับสำรวจความสามารถของ PyThaiNLP; พวกเรามีเอกสารสอนใช้งาน สามารถศึกษาได้ที่ [หน้า tutorial](https://www.thainlp.org/pythainlp/tutorials).
+
+อ่านเอกสารล่าสุดได้ที่ [https://thainlp.org/pythainlp/docs/2.2/](https://thainlp.org/pythainlp/docs/2.2/).
+
+พวกเราพยายามทำให้โมดูลใช้งานได้ง่ายที่สุดเท่าที่จะเป็นไปได้; ตัวอย่างเช่น บางชุดข้อมูล (เช่น รายการคำและตัวแบบภาษา) จะถูกดาวน์โหลดอัตโนมัติเมื่อมีการเรียกใช้งาน โดย PyThaiNLP จะจัดเก็บข้อมูลเหล่านั้นไว้ในโฟลเดอร์ `~/pythainlp-data` เป็นค่าเริ่มต้น แต่ผู้ใช้งานสามารถระบุตำแหน่งที่ต้องการได้เองผ่านค่า environment variable `PYTHAINLP_DATA_DIR` อ่านรายละเอียดคลังข้อมูลเพิ่มเติมได้ที่ [PyThaiNLP/pythainlp-corpus](https://github.com/PyThaiNLP/pythainlp-corpus).
+
+## ความสามารถ
+
+PyThaiNLP มีความสามารถพื้นฐานสำหรับการประมวลผลภาษาไทย ตัวอย่างเช่นการกำกับหน้าที่ของคำ (part-of-speech tagging) การแบ่งหน่วยของข้อความตามหลักภาษาศาสตร์ (พยางค์ คำ และประโยค) บางความสามารถสามารถใช้งานได้ผ่านทางคอมมานด์ไลน์
+
+<details>
+  <summary>รายการความสามารถ</summary>
+
+- Convenient character and word classes, like Thai consonants (`pythainlp.thai_consonants`), vowels (`pythainlp.thai_vowels`), digits (`pythainlp.thai_digits`), and stop words (`pythainlp.corpus.thai_stopwords`) -- comparable to constants like `string.letters`, `string.digits`, and `string.punctuation`
+- Thai linguistic unit segmentation/tokenization, including sentence (`sent_tokenize`), word (`word_tokenize`), and subword segmentations based on Thai Character Cluster (`subword_tokenize`)
+- Thai part-of-speech taggers (`pos_tag`)
+- Thai spelling suggestion and correction (`spell` and `correct`)
+- Thai transliteration (`transliterate`)
+- Thai soundex (`soundex`) with three engines (`lk82`, `udom83`, `metasound`)
+- Thai collation (sort by dictionoary order) (`collate`)
+- Read out number to Thai words (`bahttext`, `num_to_thaiword`)
+- Thai datetime formatting (`thai_strftime`)
+- Thai-English keyboard misswitched fix (`eng_to_thai`, `thai_to_eng`)
+- Command-line interface for basic functions, like tokenization and pos tagging (run `thainlp` in your shell)
+</details>
+
+อ่านรายละเอียดได้ที่ [tutorials](https://www.thainlp.org/pythainlp/tutorials)
+
+## การติดตั้ง
+
+```sh
+pip install --upgrade pythainlp
+```
+
+วิธีดังกล่าวเป็นการติดตั้งรุ่นเสถียรของ PyThaiNLP
+PyThaiNLP ใช้ pip สำหรับจัดการโมดูลและใช้ PyPI เป็นช่องทางหลักในการแจกจ่ายโมดูล อ่านรายละเอียดได้ที่ [https://pypi.org/project/pythainlp/](https://pypi.org/project/pythainlp/)
+
+ความแตกต่างในแต่ละรุ่น:
+
+- รุ่นเสถียร: `pip install --upgrade pythainlp`
+- รุ่นก่อนเสถียร (near ready): `pip install --upgrade --pre pythainlp`
+- รุ่นที่กำลังพัฒนา (likely to break things): `pip install https://github.com/PyThaiNLP/pythainlp/archive/dev.zip`
+
+### ตัวเลือกการติดตั้ง
+
+บางความสามารถ เช่น Thai WordNet ต้องการโมดูลภายนอกในการทำงานนอกจาก PyThaiNLP ซึ่งในตอนติดตั้ง คุณจะต้องติดตั้งส่วนขยายพิเศษที่จำเป็นหรือ "extras" โดยระบุชื่อลงใน                                                                                                                                                                                   `[name]` ต่อท้าย `pythainlp`:
+
+```sh
+pip install pythainlp[extra1,extra2,...]
+```
+
+<details>
+  <summary>รายการสำหรับติดตั้งผ่าน `extras`</summary>
+
+-  `full` (ติดตั้งทุกอย่าง)
+-  `attacut` (เพื่อสนับสนุน attacut ซึ่งเป็นตัวตัดคำที่ทำงานได้รวดเร็วและมีประสิทธิภาพ)
+-  `benchmarks` (สำหรับ [word tokenization benchmarking](tokenization-benchmark.md))
+-  `icu` (สำหรับการรองรับ ICU หรือ International Components for Unicode ในการถอดเสียงเป็นอักษรและการตัดแบ่งคำ)
+-  `ipa` (สำหรับการรองรับ IPA หรือ International Phonetic Alphabet ในการถอดเสียงเป็นอักษร)
+-  `ml` (เพื่อให้สนับสนุนตัวแบบภาษา ULMFiT สำหรับการจำแนกข้อความ)
+-  `thai2fit` (สำหรับ Thai word vector)
+-  `thai2rom` (สำหรับการถอดอักษรไทยเป็นอักษรโรมัน)
+-  `wordnet` (สำหรับ Thai WordNet API)
+</details>
+
+สำหรับโมดูลที่ต้องการ สามารถดูรายละเอียดได้ที่ตัวแปร `extras` ใน [`setup.py`](https://github.com/PyThaiNLP/pythainlp/blob/dev/setup.py).
+
+
+## Command-line
+
+บางความสามารถของ PyThaiNLP สามารถใช้งานผ่าน command line ได้โดยใช้ `thainlp`
+
+ตัวอย่าง, แสดงรายละเอียดของชุดข้อมูล:
+```sh
+thainlp data catalog
+```
+
+แสดงวิธีใช้งาน:
+```sh
+thainlp help
+```
+
+
+## ผู้ใช้งาน Python 2
+
+- PyThaiNLP 2 สนับสนุน Python 3.6 ขึ้นไป บางความสามารถ สามารถใช้งานกับ Python 3 รุ่นก่อนหน้าได้ แต่ไม่ได้มีการทดสอบว่าใช้งานได้หรือไม่ อ่านเพิ่มเติม [1.7 -> 2.0 change log](https://github.com/PyThaiNLP/pythainlp/issues/118).
+  - [Upgrading from 1.7](https://thainlp.org/pythainlp/docs/2.0/notes/pythainlp-1_7-2_0.html)
+  - [Upgrade ThaiNER from 1.7](https://github.com/PyThaiNLP/pythainlp/wiki/Upgrade-ThaiNER-from-PyThaiNLP-1.7-to-PyThaiNLP-2.0)
+- ผู้ใช้งาน Python 2.7 สามารถใช้งาน PyThaiNLP 1.6
+
+## การอ้างอิง
+
+ถ้าคุณใช้ `PyThaiNLP` ในโปรเจคหรืองานวิจัยของคุณ คุณสามารถอ้างอิงได้ตามนี้
+
+```
+Wannaphong Phatthiyaphaibun, Korakot Chaovavanich, Charin Polpanumas, Arthit Suriyawongkul, Lalita Lowphansirikul, & Pattarawat Chormai. (2016, Jun 27). PyThaiNLP: Thai Natural Language Processing in Python. Zenodo. http://doi.org/10.5281/zenodo.3519354
+```
+
+หรือ BibTeX entry:
+
+``` bib
+@misc{pythainlp,
+    author       = {Wannaphong Phatthiyaphaibun, Korakot Chaovavanich, Charin Polpanumas, Arthit Suriyawongkul, Lalita Lowphansirikul, Pattarawat Chormai},
+    title        = {{PyThaiNLP: Thai Natural Language Processing in Python}},
+    month        = Jun,
+    year         = 2016,
+    doi          = {10.5281/zenodo.3519354},
+    publisher    = {Zenodo},
+    url          = {http://doi.org/10.5281/zenodo.3519354}
+}
+```
+
+## ร่วมสนับสนุน PyThaiNLP
+
+- กรุณา fork แล้วพัฒนาต่อ จากนั้นสร้าง pull request กลับมา :)
+- สำหรับเอกสารแนะนำและอื่น ๆ รวมถึงการอ้างอิงขั้นตอนที่เราใช้งาน สามารถเข้าไปศึกษาเพิ่มเติมได้ที่หน้า [contributing](https://github.com/PyThaiNLP/pythainlp/blob/dev/CONTRIBUTING.md)
+
+## ใบอนุญาต
+
+| | ใบอนุญาต |
+|:---|:----|
+| PyThaiNLP Source Code and Notebooks | [Apache Software License 2.0](https://github.com/PyThaiNLP/pythainlp/blob/dev/LICENSE) |
+| Corpora, datasets, and documentations created by PyThaiNLP | [Creative Commons Zero 1.0 Universal Public Domain Dedication License (CC0)](https://creativecommons.org/publicdomain/zero/1.0/)|
+| Language models created by PyThaiNLP | [Creative Commons Attribution 4.0 International Public License (CC-by)](https://creativecommons.org/licenses/by/4.0/)  |
+| Other corpora and models that may included with PyThaiNLP | See [Corpus License](https://github.com/PyThaiNLP/pythainlp/blob/dev/pythainlp/corpus/corpus_license.md) |
+
+## ผู้สนับสนุน
+
+[![VISTEC-depa Thailand Artificial Intelligence Research Institute](https://airesearch.in.th/assets/img/logo/airesearch-logo.svg)](https://airesearch.in.th/)
+
+ตั้งแต่ปี 2562 การสมทบพัฒนา PyThaiNLP โดย Korakot Chaovavanich และ Lalita Lowphansirikul สนับสนุนโดย [VISTEC-depa Thailand Artificial Intelligence Research Institute](https://airesearch.in.th/).
+
+------
+
+<div align="center">
+  สร้างด้วย ❤️ | ทีม PyThaiNLP 💻 |  "We build Thai NLP" 🇹🇭
+</div>
diff --git a/pythainlp/__init__.py b/pythainlp/__init__.py
@@ -1,5 +1,5 @@
 # -*- coding: utf-8 -*-
-__version__ = "2.2.2"
+__version__ = "2.2.3"
 
 thai_consonants = "กขฃคฅฆงจฉชซฌญฎฏฐฑฒณดตถทธนบปผฝพฟภมยรลวศษสหฬอฮ"  # 44 chars
 

diff --git a/pythainlp/tokenize/crfcut.py b/pythainlp/tokenize/crfcut.py
@@ -192,6 +192,7 @@ def segment(text: str) -> List[str]:
     toks = word_tokenize(text)
     feat = extract_features(toks)
     labs = _tagger.tag(feat)
+    labs[-1] = "E"  # make sure it cuts the last sentence
 
     sentences = []
     sentence = ""

diff --git a/pythainlp/transliterate/pyicu.py b/pythainlp/transliterate/pyicu.py
@@ -9,7 +9,6 @@
 _ICU_THAI_TO_LATIN = Transliterator.createInstance("Thai-Latin")
 
 
-# ถอดเสียงภาษาไทยเป็นอักษรละติน
 def transliterate(text: str) -> str:
     """
     Use ICU (International Components for Unicode) for transliteration

diff --git a/pythainlp/transliterate/royin.py b/pythainlp/transliterate/royin.py
@@ -9,7 +9,7 @@
 
 from pythainlp import thai_consonants, word_tokenize
 
-# สระ
+# vowel
 _vowel_patterns = """เ*ียว,\\1iao
 แ*็ว,\\1aeo
 เ*ือย,\\1ueai

diff --git a/setup.cfg b/setup.cfg
@@ -1,5 +1,5 @@
 [bumpversion]
-current_version = 2.2.2
+current_version = 2.2.3
 commit = True
 tag = True
 parse = (?P<major>\d+)\.(?P<minor>\d+)\.(?P<patch>\d+)(\-(?P<release>[a-z]+)(?P<build>\d+))?

diff --git a/setup.py b/setup.py
@@ -71,7 +71,7 @@
 
 setup(
     name="pythainlp",
-    version="2.2.2",
+    version="2.2.3",
     description="Thai Natural Language Processing library",
     long_description=readme,
     long_description_content_type="text/markdown",

diff --git a/tests/test_tokenize.py b/tests/test_tokenize.py
@@ -371,32 +371,44 @@ def test_sent_tokenize(self):
         sent_1_toks = ["ฉันไปโรงเรียน ", "เธอไปโรงพยาบาล"]
         sent_2 = "วันนี้ฉันกินข้าว และโดดเรียน"
         sent_2_toks = ["วันนี้ฉันกินข้าว และโดดเรียน"]
+        sent_3 = (
+            "(1) บทความนี้ผู้เขียนสังเคราะห์ขึ้นมา"
+            + "จากผลงานวิจัยที่เคยทำมาในอดีต"
+            + " มิได้ทำการศึกษาค้นคว้าใหม่อย่างกว้างขวางแต่อย่างใด"
+            + " จึงใคร่ขออภัยในความบกพร่องทั้งปวงมา ณ ที่นี้"
+        )
+        sent_3_toks = [
+            "(1) บทความนี้ผู้เขียนสังเคราะห์ขึ้นมา"
+            + "จากผลงานวิจัยที่เคยทำมาในอดีต ",
+            "มิได้ทำการศึกษาค้นคว้าใหม่อย่างกว้างขวางแต่อย่างใด ",
+            "จึงใคร่ขออภัยในความบกพร่องทั้งปวงมา ณ ที่นี้",
+        ]
 
         self.assertEqual(
             sent_tokenize(sent_1, engine="crfcut"), sent_1_toks,
         )
         self.assertEqual(
             sent_tokenize(sent_2, engine="crfcut"), sent_2_toks,
         )
+        self.assertEqual(
+            sent_tokenize(sent_3, engine="crfcut"), sent_3_toks,
+        )
         self.assertEqual(
             sent_tokenize(sent_1), sent_1_toks,
         )
         self.assertEqual(
             sent_tokenize(sent_2), sent_2_toks,
         )
+        self.assertEqual(
+            sent_tokenize(sent_3), sent_3_toks,
+        )
         self.assertIsNotNone(
-            sent_tokenize(
-                sent_1,
-                keep_whitespace=False,
-                engine="whitespace",
-            ),
+            sent_tokenize(sent_1, keep_whitespace=False, engine="whitespace",),
         )
         self.assertFalse(
             " "
             in sent_tokenize(
-                sent_1,
-                engine="whitespace",
-                keep_whitespace=False,
+                sent_1, engine="whitespace", keep_whitespace=False,
             )
         )
         with self.assertRaises(ValueError):