Add graph size limit in _onecut() to avoid long wait for ambiguous text

[bact]

เพิ่มตัวแปร graph_size มาเพื่อดักไม่ให้กราฟใหญ่เกินที่กำหนด ถ้าเกิดกำหนดให้ตัดทันที เอาคำเท่าที่มีส่งออกมาเป็นผลลัพธ์ก่อน แล้วค่อยทำต่อ จะได้ไม่ต้องสะสมจนบวมแล้วกลายเป็นลูปยาว

• fixed pythainlp.word_tokenize ปัญหาตัดคำประโยคที่ยาวต่อเนื่องโดยไม่มี space [newmm] #241 (same issue as in บางคำประโยคติด Loop ครับ ที่ _bfs_paths_graph #326) in a more elegant way

• introduce graph_size to keep track of the size of graph in _onecut(), if greater than _MAX_GRAPH_SIZE (now set to 50) then cutoff

  • graph will be used by _bfs_paths_graph()
  • if graph goes too big, a long loop can occur
  • to prevent that we will detect it and do a cutoff
  • this should work more universally than the previous approach proposed in "newmm-safe" option -- fix newmm issue, take too long time for long text with lots of ambiguity breaking points #302
    • "newmm-safe" option -- fix newmm issue, take too long time for long text with lots of ambiguity breaking points #302 approach ("newmm-safe") relies on the heuristic length of string (and more like circumventing around than an actual fix to the real issue), while this Add graph size limit in _onecut() to avoid long wait for ambiguous text #333 approach look at the size of the word graph, which is more direct to the cause of long loop

• rename variables in _onecut() to make them more explicit

• also refactor segment(), reduce indent depth

• if possible, I like to suggest that we should push this to PyThaiNLP 2.1.1

[coveralls]

Coverage increased (+0.02%) to 90.957% when pulling 2142964 on newmm_safe into bfc7c31 on dev.