diff --git a/.travis.yml b/.travis.yml index 91cc012..e1a26af 100644 --- a/.travis.yml +++ b/.travis.yml @@ -1,9 +1,12 @@ # https://travis-ci.org/mpcabd/python-arabic-reshaper +dist: xenial language: python python: - "2.7" + - "3.5" - "3.6" + - "3.7" install: - "pip install -e ." script: - - "python setup.py test" + - "python setup.py test" diff --git a/arabic_reshaper/arabic_reshaper.py b/arabic_reshaper/arabic_reshaper.py index 97a95f8..ee6dbf9 100644 --- a/arabic_reshaper/arabic_reshaper.py +++ b/arabic_reshaper/arabic_reshaper.py @@ -31,8 +31,11 @@ from itertools import repeat from pkg_resources import resource_filename -from .ligatures import * -from .letters import * +from .ligatures import LIGATURES +from .letters import (UNSHAPED, ISOLATED, TATWEEL, ZWJ, LETTERS, FINAL, + INITIAL, MEDIAL, connects_with_letters_before_and_after, + connects_with_letter_before, connects_with_letter_after) + HARAKAT_RE = re.compile( '[' diff --git a/arabic_reshaper/ligatures.py b/arabic_reshaper/ligatures.py index 6c63575..ec515ab 100644 --- a/arabic_reshaper/ligatures.py +++ b/arabic_reshaper/ligatures.py @@ -75,67 +75,6 @@ )), # Letters - ('ARABIC LIGATURE AIN WITH ALEF MAKSURA', ( - '\u0639\u0649', ('\uFCF7', '', '', '\uFD13'), - )), - ('ARABIC LIGATURE AIN WITH JEEM', ( - '\u0639\u062C', ('\uFC29', '\uFCBA', '', ''), - )), - ('ARABIC LIGATURE AIN WITH JEEM WITH MEEM', ( - '\u0639\u062C\u0645', ('', '\uFDC4', '', '\uFD75'), - )), - ('ARABIC LIGATURE AIN WITH MEEM', ( - '\u0639\u0645', ('\uFC2A', '\uFCBB', '', ''), - )), - ('ARABIC LIGATURE AIN WITH MEEM WITH ALEF MAKSURA', ( - '\u0639\u0645\u0649', ('', '', '', '\uFD78'), - )), - ('ARABIC LIGATURE AIN WITH MEEM WITH MEEM', ( - '\u0639\u0645\u0645', ('', '\uFD77', '', '\uFD76'), - )), - ('ARABIC LIGATURE AIN WITH MEEM WITH YEH', ( - '\u0639\u0645\u064A', ('', '', '', '\uFDB6'), - )), - ('ARABIC LIGATURE AIN WITH YEH', ( - '\u0639\u064A', ('\uFCF8', '', '', '\uFD14'), - )), - ('ARABIC LIGATURE ALEF MAKSURA WITH SUPERSCRIPT ALEF', ( - '\u0649\u0670', ('\uFC5D', '', '', '\uFC90'), - )), - ('ARABIC LIGATURE ALEF WITH FATHATAN', ( - '\u0627\u064B', ('\uFD3D', '', '', '\uFD3C'), - )), - ('ARABIC LIGATURE BEH WITH ALEF MAKSURA', ( - '\u0628\u0649', ('\uFC09', '', '', '\uFC6E'), - )), - ('ARABIC LIGATURE BEH WITH HAH', ( - '\u0628\u062D', ('\uFC06', '\uFC9D', '', ''), - )), - ('ARABIC LIGATURE BEH WITH HAH WITH YEH', ( - '\u0628\u062D\u064A', ('', '', '', '\uFDC2'), - )), - ('ARABIC LIGATURE BEH WITH HEH', ( - '\u0628\u0647', ('', '\uFCA0', '\uFCE2', ''), - )), - ('ARABIC LIGATURE BEH WITH JEEM', ( - '\u0628\u062C', ('\uFC05', '\uFC9C', '', ''), - )), - ('ARABIC LIGATURE BEH WITH KHAH', ( - '\u0628\u062E', ('\uFC07', '\uFC9E', '', ''), - )), - ('ARABIC LIGATURE BEH WITH KHAH WITH YEH', ( - '\u0628\u062E\u064A', ('', '', '', '\uFD9E'), - )), - ('ARABIC LIGATURE BEH WITH MEEM', ( - '\u0628\u0645', ('\uFC08', '\uFC9F', '\uFCE1', '\uFC6C'), - )), - ('ARABIC LIGATURE BEH WITH NOON', ( - '\u0628\u0646', ('', '', '', '\uFC6D'), - )), - ('ARABIC LIGATURE BEH WITH REH', ( - '\u0628\u0631', ('', '', '', '\uFC6A'), - )), - ('ARABIC LIGATURE AIN WITH ALEF MAKSURA', ( '\u0639\u0649', ('\uFCF7', '', '', '\uFD13'), )), diff --git a/arabic_reshaper/tests/test_001_initialization.py b/arabic_reshaper/tests/test_001_initialization.py index b1c26f2..5b1e2e5 100644 --- a/arabic_reshaper/tests/test_001_initialization.py +++ b/arabic_reshaper/tests/test_001_initialization.py @@ -2,6 +2,7 @@ import unittest import arabic_reshaper +import arabic_reshaper.ligatures class TestDefaultConfiguration(unittest.TestCase): @@ -32,7 +33,6 @@ def test_delete_tatweel(self): self.boolean_check('delete_tatweel') def test_ligatures(self): - import arabic_reshaper.ligatures for ligature in arabic_reshaper.ligatures.LIGATURES: if hasattr(self, 'subTest'): with self.subTest(ligature=ligature[0]): @@ -40,5 +40,6 @@ def test_ligatures(self): else: self.boolean_check(ligature[0]) + if __name__ == '__main__': unittest.main() diff --git a/arabic_reshaper/tests/test_002_reshaping.py b/arabic_reshaper/tests/test_002_reshaping.py index bc75cfb..c81cf26 100644 --- a/arabic_reshaper/tests/test_002_reshaping.py +++ b/arabic_reshaper/tests/test_002_reshaping.py @@ -10,14 +10,17 @@ def _reshaping_test(test): + + def t(case): + test.assertEqual(case[1], test.reshaper.reshape(case[0])) + for i, case in enumerate(test.cases): - def t(): test.assertEqual(case[1], test.reshaper.reshape(case[0])) if hasattr(test, 'subTest'): with test.subTest(i=i, case=case[0]): - t() + t(case) else: print('running test case %d' % i, file=sys.stderr) - t() + t(case) class TestDefaultReshaping(unittest.TestCase): @@ -29,16 +32,16 @@ def setUp(self): ('اللغة العربية هي أكثر اللغات', 'ﺍﻟﻠﻐﺔ ﺍﻟﻌﺮﺑﻴﺔ ﻫﻲ ﺃﻛﺜﺮ ﺍﻟﻠﻐﺎﺕ'), ('تحدثاً ونطقاً ضمن مجموعة', 'ﺗﺤﺪﺛﺎ ﻭﻧﻄﻘﺎ ﺿﻤﻦ ﻣﺠﻤﻮﻋﺔ'), ('اللغات السامية', 'ﺍﻟﻠﻐﺎﺕ ﺍﻟﺴﺎﻣﻴﺔ'), - ('العربية لغة رسمية في', 'ﺍﻟﻌﺮﺑﻴﺔ ﻟﻐﺔ ﺭﺳﻤﻴﺔ ﻓﻲ'), - ('كل دول الوطن العربي', 'ﻛﻞ ﺩﻭﻝ ﺍﻟﻮﻃﻦ ﺍﻟﻌﺮﺑﻲ'), - ('إضافة إلى كونها لغة', 'ﺇﺿﺎﻓﺔ ﺇﻟﻰ ﻛﻮﻧﻬﺎ ﻟﻐﺔ'), - ('رسمية في تشاد وإريتريا', 'ﺭﺳﻤﻴﺔ ﻓﻲ ﺗﺸﺎﺩ ﻭﺇﺭﻳﺘﺮﻳﺎ'), - ('وإسرائيل. وهي إحدى اللغات', 'ﻭﺇﺳﺮﺍﺋﻴﻞ. ﻭﻫﻲ ﺇﺣﺪﻯ ﺍﻟﻠﻐﺎﺕ'), - ('الرسمية الست في منظمة', 'ﺍﻟﺮﺳﻤﻴﺔ ﺍﻟﺴﺖ ﻓﻲ ﻣﻨﻈﻤﺔ'), - ('الأمم المتحدة، ويُحتفل', 'ﺍﻷﻣﻢ ﺍﻟﻤﺘﺤﺪﺓ، ﻭﻳﺤﺘﻔﻞ'), - ('باليوم العالمي للغة العربية', 'ﺑﺎﻟﻴﻮﻡ ﺍﻟﻌﺎﻟﻤﻲ ﻟﻠﻐﺔ ﺍﻟﻌﺮﺑﻴﺔ'), - ('في 18 ديسمبر كذكرى اعتماد', 'ﻓﻲ 18 ﺩﻳﺴﻤﺒﺮ ﻛﺬﻛﺮﻯ ﺍﻋﺘﻤﺎﺩ'), - ('العربية بين لغات العمل في', 'ﺍﻟﻌﺮﺑﻴﺔ ﺑﻴﻦ ﻟﻐﺎﺕ ﺍﻟﻌﻤﻞ ﻓﻲ'), + ('العربية لغة رسمية في', 'ﺍﻟﻌﺮﺑﻴﺔ ﻟﻐﺔ ﺭﺳﻤﻴﺔ ﻓﻲ'), + ('كل دول الوطن العربي', 'ﻛﻞ ﺩﻭﻝ ﺍﻟﻮﻃﻦ ﺍﻟﻌﺮﺑﻲ'), + ('إضافة إلى كونها لغة', 'ﺇﺿﺎﻓﺔ ﺇﻟﻰ ﻛﻮﻧﻬﺎ ﻟﻐﺔ'), + ('رسمية في تشاد وإريتريا', 'ﺭﺳﻤﻴﺔ ﻓﻲ ﺗﺸﺎﺩ ﻭﺇﺭﻳﺘﺮﻳﺎ'), + ('وإسرائيل. وهي إحدى اللغات', 'ﻭﺇﺳﺮﺍﺋﻴﻞ. ﻭﻫﻲ ﺇﺣﺪﻯ ﺍﻟﻠﻐﺎﺕ'), + ('الرسمية الست في منظمة', 'ﺍﻟﺮﺳﻤﻴﺔ ﺍﻟﺴﺖ ﻓﻲ ﻣﻨﻈﻤﺔ'), + ('الأمم المتحدة، ويُحتفل', 'ﺍﻷﻣﻢ ﺍﻟﻤﺘﺤﺪﺓ، ﻭﻳﺤﺘﻔﻞ'), + ('باليوم العالمي للغة العربية', 'ﺑﺎﻟﻴﻮﻡ ﺍﻟﻌﺎﻟﻤﻲ ﻟﻠﻐﺔ ﺍﻟﻌﺮﺑﻴﺔ'), + ('في 18 ديسمبر كذكرى اعتماد', 'ﻓﻲ 18 ﺩﻳﺴﻤﺒﺮ ﻛﺬﻛﺮﻯ ﺍﻋﺘﻤﺎﺩ'), + ('العربية بين لغات العمل في', 'ﺍﻟﻌﺮﺑﻴﺔ ﺑﻴﻦ ﻟﻐﺎﺕ ﺍﻟﻌﻤﻞ ﻓﻲ'), ('الأمم المتحدة.', 'ﺍﻷﻣﻢ ﺍﻟﻤﺘﺤﺪﺓ.'), ) @@ -132,16 +135,16 @@ def setUp(self): ('اللغة العربية هي أكثر اللغات', 'ﺍﻟﻠﻐﺔ ﺍﻟﻌﺮﺑﻴﺔ ﻫﻲ ﺃﻛﺜﺮ ﺍﻟﻠﻐﺎﺕ'), ('تحدثاً ونطقاً ضمن مجموعة', 'ﺗﺤﺪﺛﺎً ﻭﻧﻄﻘﺎً ﺿﻤﻦ ﻣﺠﻤﻮﻋﺔ'), ('اللغات السامية', 'ﺍﻟﻠﻐﺎﺕ ﺍﻟﺴﺎﻣﻴﺔ'), - ('العربية لغة رسمية في', 'ﺍﻟﻌﺮﺑﻴﺔ ﻟﻐﺔ ﺭﺳﻤﻴﺔ ﻓﻲ'), - ('كل دول الوطن العربي', 'ﻛﻞ ﺩﻭﻝ ﺍﻟﻮﻃﻦ ﺍﻟﻌﺮﺑﻲ'), - ('إضافة إلى كونها لغة', 'ﺇﺿﺎﻓﺔ ﺇﻟﻰ ﻛﻮﻧﻬﺎ ﻟﻐﺔ'), - ('رسمية في تشاد وإريتريا', 'ﺭﺳﻤﻴﺔ ﻓﻲ ﺗﺸﺎﺩ ﻭﺇﺭﻳﺘﺮﻳﺎ'), - ('وإسرائيل. وهي إحدى اللغات', 'ﻭﺇﺳﺮﺍﺋﻴﻞ. ﻭﻫﻲ ﺇﺣﺪﻯ ﺍﻟﻠﻐﺎﺕ'), - ('الرسمية الست في منظمة', 'ﺍﻟﺮﺳﻤﻴﺔ ﺍﻟﺴﺖ ﻓﻲ ﻣﻨﻈﻤﺔ'), - ('الأمم المتحدة، ويُحتفل', 'ﺍﻷﻣﻢ ﺍﻟﻤﺘﺤﺪﺓ، ﻭﻳُﺤﺘﻔﻞ'), - ('باليوم العالمي للغة العربية', 'ﺑﺎﻟﻴﻮﻡ ﺍﻟﻌﺎﻟﻤﻲ ﻟﻠﻐﺔ ﺍﻟﻌﺮﺑﻴﺔ'), - ('في 18 ديسمبر كذكرى اعتماد', 'ﻓﻲ 18 ﺩﻳﺴﻤﺒﺮ ﻛﺬﻛﺮﻯ ﺍﻋﺘﻤﺎﺩ'), - ('العربية بين لغات العمل في', 'ﺍﻟﻌﺮﺑﻴﺔ ﺑﻴﻦ ﻟﻐﺎﺕ ﺍﻟﻌﻤﻞ ﻓﻲ'), + ('العربية لغة رسمية في', 'ﺍﻟﻌﺮﺑﻴﺔ ﻟﻐﺔ ﺭﺳﻤﻴﺔ ﻓﻲ'), + ('كل دول الوطن العربي', 'ﻛﻞ ﺩﻭﻝ ﺍﻟﻮﻃﻦ ﺍﻟﻌﺮﺑﻲ'), + ('إضافة إلى كونها لغة', 'ﺇﺿﺎﻓﺔ ﺇﻟﻰ ﻛﻮﻧﻬﺎ ﻟﻐﺔ'), + ('رسمية في تشاد وإريتريا', 'ﺭﺳﻤﻴﺔ ﻓﻲ ﺗﺸﺎﺩ ﻭﺇﺭﻳﺘﺮﻳﺎ'), + ('وإسرائيل. وهي إحدى اللغات', 'ﻭﺇﺳﺮﺍﺋﻴﻞ. ﻭﻫﻲ ﺇﺣﺪﻯ ﺍﻟﻠﻐﺎﺕ'), + ('الرسمية الست في منظمة', 'ﺍﻟﺮﺳﻤﻴﺔ ﺍﻟﺴﺖ ﻓﻲ ﻣﻨﻈﻤﺔ'), + ('الأمم المتحدة، ويُحتفل', 'ﺍﻷﻣﻢ ﺍﻟﻤﺘﺤﺪﺓ، ﻭﻳُﺤﺘﻔﻞ'), + ('باليوم العالمي للغة العربية', 'ﺑﺎﻟﻴﻮﻡ ﺍﻟﻌﺎﻟﻤﻲ ﻟﻠﻐﺔ ﺍﻟﻌﺮﺑﻴﺔ'), + ('في 18 ديسمبر كذكرى اعتماد', 'ﻓﻲ 18 ﺩﻳﺴﻤﺒﺮ ﻛﺬﻛﺮﻯ ﺍﻋﺘﻤﺎﺩ'), + ('العربية بين لغات العمل في', 'ﺍﻟﻌﺮﺑﻴﺔ ﺑﻴﻦ ﻟﻐﺎﺕ ﺍﻟﻌﻤﻞ ﻓﻲ'), ('الأمم المتحدة.', 'ﺍﻷﻣﻢ ﺍﻟﻤﺘﺤﺪﺓ.'), ) @@ -160,16 +163,16 @@ def setUp(self): ('اللغة العربية هي أكثر اللغات', 'ﺍﻟﻠﻐﺔ ﺍﻟﻌﺮﺑﻴﺔ ﻫﻲ ﺃﻛﺜﺮ ﺍﻟﻠﻐﺎﺕ'), ('تحدثاً ونطقاً ضمن مجموعة', 'ﺗﺤﺪﺛﺎً ﻭﻧﻄﻘﺎً ﺿﻤﻦ ﻣﺠﻤﻮﻋﺔ'), ('اللغات السامية', 'ﺍﻟﻠﻐﺎﺕ ﺍﻟﺴﺎﻣﻴﺔ'), - ('العربية لغة رسمية في', 'ﺍﻟﻌﺮﺑﻴﺔ ﻟﻐﺔ ﺭﺳﻤﻴﺔ ﻓﻲ'), - ('كل دول الوطن العربي', 'ﻛﻞ ﺩﻭﻝ ﺍﻟﻮﻃﻦ ﺍﻟﻌﺮﺑﻲ'), - ('إضافة إلى كونها لغة', 'ﺇﺿﺎﻓﺔ ﺇﻟﻰ ﻛﻮﻧﻬﺎ ﻟﻐﺔ'), - ('رسمية في تشاد وإريتريا', 'ﺭﺳﻤﻴﺔ ﻓﻲ ﺗﺸﺎﺩ ﻭﺇﺭﻳﺘﺮﻳﺎ'), - ('وإسرائيل. وهي إحدى اللغات', 'ﻭﺇﺳﺮﺍﺋﻴﻞ. ﻭﻫﻲ ﺇﺣﺪﻯ ﺍﻟﻠﻐﺎﺕ'), - ('الرسمية الست في منظمة', 'ﺍﻟﺮﺳﻤﻴﺔ ﺍﻟﺴﺖ ﻓﻲ ﻣﻨﻈﻤﺔ'), - ('الأمم المتحدة، ويُحتفل', 'ﺍﻟﺄﻣﻢ ﺍﻟﻤﺘﺤﺪﺓ، ﻭﻳُﺤﺘﻔﻞ'), - ('باليوم العالمي للغة العربية', 'ﺑﺎﻟﻴﻮﻡ ﺍﻟﻌﺎﻟﻤﻲ ﻟﻠﻐﺔ ﺍﻟﻌﺮﺑﻴﺔ'), - ('في 18 ديسمبر كذكرى اعتماد', 'ﻓﻲ 18 ﺩﻳﺴﻤﺒﺮ ﻛﺬﻛﺮﻯ ﺍﻋﺘﻤﺎﺩ'), - ('العربية بين لغات العمل في', 'ﺍﻟﻌﺮﺑﻴﺔ ﺑﻴﻦ ﻟﻐﺎﺕ ﺍﻟﻌﻤﻞ ﻓﻲ'), + ('العربية لغة رسمية في', 'ﺍﻟﻌﺮﺑﻴﺔ ﻟﻐﺔ ﺭﺳﻤﻴﺔ ﻓﻲ'), + ('كل دول الوطن العربي', 'ﻛﻞ ﺩﻭﻝ ﺍﻟﻮﻃﻦ ﺍﻟﻌﺮﺑﻲ'), + ('إضافة إلى كونها لغة', 'ﺇﺿﺎﻓﺔ ﺇﻟﻰ ﻛﻮﻧﻬﺎ ﻟﻐﺔ'), + ('رسمية في تشاد وإريتريا', 'ﺭﺳﻤﻴﺔ ﻓﻲ ﺗﺸﺎﺩ ﻭﺇﺭﻳﺘﺮﻳﺎ'), + ('وإسرائيل. وهي إحدى اللغات', 'ﻭﺇﺳﺮﺍﺋﻴﻞ. ﻭﻫﻲ ﺇﺣﺪﻯ ﺍﻟﻠﻐﺎﺕ'), + ('الرسمية الست في منظمة', 'ﺍﻟﺮﺳﻤﻴﺔ ﺍﻟﺴﺖ ﻓﻲ ﻣﻨﻈﻤﺔ'), + ('الأمم المتحدة، ويُحتفل', 'ﺍﻟﺄﻣﻢ ﺍﻟﻤﺘﺤﺪﺓ، ﻭﻳُﺤﺘﻔﻞ'), + ('باليوم العالمي للغة العربية', 'ﺑﺎﻟﻴﻮﻡ ﺍﻟﻌﺎﻟﻤﻲ ﻟﻠﻐﺔ ﺍﻟﻌﺮﺑﻴﺔ'), + ('في 18 ديسمبر كذكرى اعتماد', 'ﻓﻲ 18 ﺩﻳﺴﻤﺒﺮ ﻛﺬﻛﺮﻯ ﺍﻋﺘﻤﺎﺩ'), + ('العربية بين لغات العمل في', 'ﺍﻟﻌﺮﺑﻴﺔ ﺑﻴﻦ ﻟﻐﺎﺕ ﺍﻟﻌﻤﻞ ﻓﻲ'), ('الأمم المتحدة.', 'ﺍﻟﺄﻣﻢ ﺍﻟﻤﺘﺤﺪﺓ.'), ) @@ -248,5 +251,6 @@ def setUp(self): def test_reshaping(self): _reshaping_test(self) + if __name__ == '__main__': unittest.main()