untokenizer

[yassersouri]

Salam

Let's say a paragraph is tokenized into its sentences and each sentence is tokenized into its words.

Now that we have done some process on the words, we want to go back to paragraph again. Is there an untokenizer?

Simply doing a join will not work in some cases.

[nournia]

سلام خیلی ایده خوبیه

این کار در بعضی موارد پیچیده می‌شه. مثل اینکه «مرا» به جاری «من را» استفاده بشه. هم تیکه‌کردنش سخته و هم چسبوندنش. می‌تونیم این موارد رو از پیکره دادگان پیدا کنیم، چون این اطلاعات رو داره.

[yassersouri]

پس فعلا نداره این ویژگی رو؟!

2015-04-27 12:25 GMT+04:30 Alireza Nourian notifications@github.com:

سلام
خیلی ایده خوبیه

این کار در بعضی موارد پیچیده می‌شه. مثل اینکه «مرا» به جاری «من را»
استفاده بشه. هم تیکه‌کردنش سخته و هم چسبوندنش. می‌تونیم این موارد رو از
پیکره دادگان پیدا کنیم، چون این اطلاعات رو داره.

—
Reply to this email directly or view it on GitHub
#22 (comment).

[nournia]

نه هنوز