Add docs

Author: bact

docs/api/corpus.rst

@@ -22,6 +22,13 @@ Modules
 .. autofunction:: thai_family_names
 .. autofunction:: thai_female_names
 .. autofunction:: thai_male_names
+
+ConceptNet
+----------
+
+ConceptNet is an open, multilingual knowledge graph
+See: https://github.com/commonsense/conceptnet5/wiki/API
+
 .. autofunction:: pythainlp.corpus.conceptnet.edges
 
 TNC
@@ -34,7 +41,14 @@ TTC
 
 .. autofunction:: pythainlp.corpus.ttc.word_freqs
 
-Wordnet
+Util
+----
+
+.. autofunction:: pythainlp.corpus.util.find_badwords
+.. autofunction:: pythainlp.corpus.util.revise_wordset
+.. autofunction:: pythainlp.corpus.util.revise_newmm_default_wordset
+
+WordNet
 -------
 
 PyThaiNLP API is an exact copy of NLTK WordNet API.

docs/api/summarize.rst

@@ -2,7 +2,7 @@
 
 pythainlp.summarize
 ====================================
-The :class:`summarize` is thai text summarize.
+The :class:`summarize` is Thai text summarizer.
 
 Modules
 -------

docs/api/tag.rst

@@ -40,18 +40,18 @@ Abbreviation   Part-of-Speech tag                                     Examples
  NLBL          Label noun                                             1, 2, 3, 4, ก, ข, a, b
  NCMN          Common noun                                            หนังสือ, อาหาร, อาคาร, คน
  NTTL          Title noun                                             ครู, พลเอก
- PPRS          Personal pronoun ‡                                      คุณ, เขา, ฉัน
- PDMN          Demonstrative pronoun œ                                 นี่, นั้น, ที่นั่น, ที่นี่
+ PPRS          Personal pronoun                                       คุณ, เขา, ฉัน
+ PDMN          Demonstrative pronoun                                  นี่, นั้น, ที่นั่น, ที่นี่
  PNTR          Interrogative pronoun                                  ใคร, อะไร, อย่างไร
- PREL          Relative pronoun š                                      ที่, ซึ่ง, อัน, ผู้
- VACT          Active verb šÎµŠµœ,                                       ทำงาน, ร้องเพลง, กิน
+ PREL          Relative pronoun                                       ที่, ซึ่ง, อัน, ผู้
+ VACT          Active verb                                            ทำงาน, ร้องเพลง, กิน
  VSTA          Stative verb                                           เห็น, รู้, คือ
  VATT          Attributive verb                                       อ้วน, ดี, สวย
  XVBM          Pre-verb auxiliary, before negator "ไม่"                เกิด, เกือบ, กำลัง
  XVAM          Pre-verb auxiliary, after negator "ไม่"                 ค่อย, น่า, ได้
  XVMM          Pre-verb, before or after negator "ไม่"                 ควร, เคย, ต้อง
  XVBB          Pre-verb auxiliary, in imperative mood                 กรุณา, จง, เชิญ, อย่า, ห้าม
- XVAE          Post-verb auxiliary Å                                  ไป, มา, ขึ้น
+ XVAE          Post-verb auxiliary                                    ไป, มา, ขึ้น
  DDAN          | Definite determiner, after noun without              ยี่, นั่น, โน่น, ทั้งหมด
                | classifier in between
  DDAC          | Definite determiner, allowing classifier             นี้, นั้น, โน้น, นู้น
@@ -76,12 +76,12 @@ Abbreviation   Part-of-Speech tag                                     Examples
  CLTV          Collective classifier                                  | คู่, กลุ่ม, ฝูง, เชิง, ทาง,
                                                                       | ด้าน, แบบ, รุ่น
  CMTR          Measurement classifier                                 กิโลกรัม, แก้ว, ชั่วโมง
- CFQC          Frequency classifier ‡                                  ครั้ง, เที่ยว
+ CFQC          Frequency classifier                                   ครั้ง, เที่ยว
  CVBL          Verbal classifier                                      ม้วน, มัด
  JCRG          Coordinating conjunction                               และ, หรือ, แต่
- JCMP          Comparative conjunction „                               กว่า, เหมือนกับ, เท่ากับ
+ JCMP          Comparative conjunction                                กว่า, เหมือนกับ, เท่ากับ
  JSBR          Subordinating conjunction                              เพราะว่า, เนื่องจาก ที่, แม้ว่า, ถ้า
- RPRE          Preposition ‹                                           จาก, ละ, ของ, ใต้, บน
+ RPRE          Preposition                                            จาก, ละ, ของ, ใต้, บน
  INT           Interjection                                           โอ้บ, โอ้, เออ, เอ๋, อ๋อ
  FIXN          Nominal prefix                                         **การ**\ ทำงาน, **ความ**\ สนุนสนาน
  FIXV          Adverbial prefix                                       **อย่าง**\ เร็ว

pythainlp/corpus/util.py

@@ -133,6 +133,9 @@ def revise_newmm_default_wordset(
     """
     orig_words = thai_words()
     trie = Trie(orig_words)
-    tokenize = lambda text: newmm.segment(text, custom_dict=trie)
+
+    def tokenize(text):
+        return newmm.segment(text, custom_dict=trie)
+
     revised_words = revise_wordset(tokenize, orig_words, training_data)
     return revised_words