Merge pull request #28 from hossein-pourbozorg/master

fix: codefactor.io issues and add python 3.5 and 3.7 to travis-ci config file

.travis.yml

@@ -1,9 +1,12 @@
 # https://travis-ci.org/mpcabd/python-arabic-reshaper
+dist: xenial
 language: python
 python:
   - "2.7"
+  - "3.5"
   - "3.6"
+  - "3.7"
 install:
   - "pip install -e ."
 script:
-    - "python setup.py test"
+  - "python setup.py test"

arabic_reshaper/arabic_reshaper.py

@@ -31,8 +31,11 @@
 from itertools import repeat
 from pkg_resources import resource_filename
 
-from .ligatures import *
-from .letters import *
+from .ligatures import LIGATURES
+from .letters import (UNSHAPED, ISOLATED, TATWEEL, ZWJ, LETTERS, FINAL,
+                      INITIAL, MEDIAL, connects_with_letters_before_and_after,
+                      connects_with_letter_before, connects_with_letter_after)
+
 
 HARAKAT_RE = re.compile(
     '['

arabic_reshaper/ligatures.py

@@ -75,67 +75,6 @@
     )),
 
     # Letters
-    ('ARABIC LIGATURE AIN WITH ALEF MAKSURA', (
-        '\u0639\u0649', ('\uFCF7', '', '', '\uFD13'),
-    )),
-    ('ARABIC LIGATURE AIN WITH JEEM', (
-        '\u0639\u062C', ('\uFC29', '\uFCBA', '', ''),
-    )),
-    ('ARABIC LIGATURE AIN WITH JEEM WITH MEEM', (
-        '\u0639\u062C\u0645', ('', '\uFDC4', '', '\uFD75'),
-    )),
-    ('ARABIC LIGATURE AIN WITH MEEM', (
-        '\u0639\u0645', ('\uFC2A', '\uFCBB', '', ''),
-    )),
-    ('ARABIC LIGATURE AIN WITH MEEM WITH ALEF MAKSURA', (
-        '\u0639\u0645\u0649', ('', '', '', '\uFD78'),
-    )),
-    ('ARABIC LIGATURE AIN WITH MEEM WITH MEEM', (
-        '\u0639\u0645\u0645', ('', '\uFD77', '', '\uFD76'),
-    )),
-    ('ARABIC LIGATURE AIN WITH MEEM WITH YEH', (
-        '\u0639\u0645\u064A', ('', '', '', '\uFDB6'),
-    )),
-    ('ARABIC LIGATURE AIN WITH YEH', (
-        '\u0639\u064A', ('\uFCF8', '', '', '\uFD14'),
-    )),
-    ('ARABIC LIGATURE ALEF MAKSURA WITH SUPERSCRIPT ALEF', (
-        '\u0649\u0670', ('\uFC5D', '', '', '\uFC90'),
-    )),
-    ('ARABIC LIGATURE ALEF WITH FATHATAN', (
-        '\u0627\u064B', ('\uFD3D', '', '', '\uFD3C'),
-    )),
-    ('ARABIC LIGATURE BEH WITH ALEF MAKSURA', (
-        '\u0628\u0649', ('\uFC09', '', '', '\uFC6E'),
-    )),
-    ('ARABIC LIGATURE BEH WITH HAH', (
-        '\u0628\u062D', ('\uFC06', '\uFC9D', '', ''),
-    )),
-    ('ARABIC LIGATURE BEH WITH HAH WITH YEH', (
-        '\u0628\u062D\u064A', ('', '', '', '\uFDC2'),
-    )),
-    ('ARABIC LIGATURE BEH WITH HEH', (
-        '\u0628\u0647', ('', '\uFCA0', '\uFCE2', ''),
-    )),
-    ('ARABIC LIGATURE BEH WITH JEEM', (
-        '\u0628\u062C', ('\uFC05', '\uFC9C', '', ''),
-    )),
-    ('ARABIC LIGATURE BEH WITH KHAH', (
-        '\u0628\u062E', ('\uFC07', '\uFC9E', '', ''),
-    )),
-    ('ARABIC LIGATURE BEH WITH KHAH WITH YEH', (
-        '\u0628\u062E\u064A', ('', '', '', '\uFD9E'),
-    )),
-    ('ARABIC LIGATURE BEH WITH MEEM', (
-        '\u0628\u0645', ('\uFC08', '\uFC9F', '\uFCE1', '\uFC6C'),
-    )),
-    ('ARABIC LIGATURE BEH WITH NOON', (
-        '\u0628\u0646', ('', '', '', '\uFC6D'),
-    )),
-    ('ARABIC LIGATURE BEH WITH REH', (
-        '\u0628\u0631', ('', '', '', '\uFC6A'),
-    )),
-
     ('ARABIC LIGATURE AIN WITH ALEF MAKSURA', (
         '\u0639\u0649', ('\uFCF7', '', '', '\uFD13'),
     )),

arabic_reshaper/tests/test_001_initialization.py

@@ -2,6 +2,7 @@
 
 import unittest
 import arabic_reshaper
+import arabic_reshaper.ligatures
 
 
 class TestDefaultConfiguration(unittest.TestCase):
@@ -32,13 +33,13 @@ def test_delete_tatweel(self):
         self.boolean_check('delete_tatweel')
 
     def test_ligatures(self):
-        import arabic_reshaper.ligatures
         for ligature in arabic_reshaper.ligatures.LIGATURES:
             if hasattr(self, 'subTest'):
                 with self.subTest(ligature=ligature[0]):
                     self.boolean_check(ligature[0])
             else:
                 self.boolean_check(ligature[0])
 
+
 if __name__ == '__main__':
     unittest.main()

arabic_reshaper/tests/test_002_reshaping.py

@@ -10,14 +10,17 @@
 
 
 def _reshaping_test(test):
+
+    def t(case):
+        test.assertEqual(case[1], test.reshaper.reshape(case[0]))
+
     for i, case in enumerate(test.cases):
-        def t(): test.assertEqual(case[1], test.reshaper.reshape(case[0]))
         if hasattr(test, 'subTest'):
             with test.subTest(i=i, case=case[0]):
-                t()
+                t(case)
         else:
             print('running test case %d' % i, file=sys.stderr)
-            t()
+            t(case)
 
 
 class TestDefaultReshaping(unittest.TestCase):
@@ -29,16 +32,16 @@ def setUp(self):
             ('اللغة العربية هي أكثر اللغات', 'ﺍﻟﻠﻐﺔ ﺍﻟﻌﺮﺑﻴﺔ ﻫﻲ ﺃﻛﺜﺮ ﺍﻟﻠﻐﺎﺕ'),
             ('تحدثاً ونطقاً ضمن مجموعة', 'ﺗﺤﺪﺛﺎ ﻭﻧﻄﻘﺎ ﺿﻤﻦ ﻣﺠﻤﻮﻋﺔ'),
             ('اللغات السامية', 'ﺍﻟﻠﻐﺎﺕ ﺍﻟﺴﺎﻣﻴﺔ'),
-            ('العربية لغة رسمية في',  'ﺍﻟﻌﺮﺑﻴﺔ ﻟﻐﺔ ﺭﺳﻤﻴﺔ ﻓﻲ'),
-            ('كل دول الوطن العربي',  'ﻛﻞ ﺩﻭﻝ ﺍﻟﻮﻃﻦ ﺍﻟﻌﺮﺑﻲ'),
-            ('إضافة إلى كونها لغة',  'ﺇﺿﺎﻓﺔ ﺇﻟﻰ ﻛﻮﻧﻬﺎ ﻟﻐﺔ'),
-            ('رسمية في تشاد وإريتريا',  'ﺭﺳﻤﻴﺔ ﻓﻲ ﺗﺸﺎﺩ ﻭﺇﺭﻳﺘﺮﻳﺎ'),
-            ('وإسرائيل. وهي إحدى اللغات',  'ﻭﺇﺳﺮﺍﺋﻴﻞ. ﻭﻫﻲ ﺇﺣﺪﻯ ﺍﻟﻠﻐﺎﺕ'),
-            ('الرسمية الست في منظمة',  'ﺍﻟﺮﺳﻤﻴﺔ ﺍﻟﺴﺖ ﻓﻲ ﻣﻨﻈﻤﺔ'),
-            ('الأمم المتحدة، ويُحتفل',  'ﺍﻷﻣﻢ ﺍﻟﻤﺘﺤﺪﺓ، ﻭﻳﺤﺘﻔﻞ'),
-            ('باليوم العالمي للغة العربية',  'ﺑﺎﻟﻴﻮﻡ ﺍﻟﻌﺎﻟﻤﻲ ﻟﻠﻐﺔ ﺍﻟﻌﺮﺑﻴﺔ'),
-            ('في 18 ديسمبر كذكرى اعتماد',  'ﻓﻲ 18 ﺩﻳﺴﻤﺒﺮ ﻛﺬﻛﺮﻯ ﺍﻋﺘﻤﺎﺩ'),
-            ('العربية بين لغات العمل في',  'ﺍﻟﻌﺮﺑﻴﺔ ﺑﻴﻦ ﻟﻐﺎﺕ ﺍﻟﻌﻤﻞ ﻓﻲ'),
+            ('العربية لغة رسمية في', 'ﺍﻟﻌﺮﺑﻴﺔ ﻟﻐﺔ ﺭﺳﻤﻴﺔ ﻓﻲ'),
+            ('كل دول الوطن العربي', 'ﻛﻞ ﺩﻭﻝ ﺍﻟﻮﻃﻦ ﺍﻟﻌﺮﺑﻲ'),
+            ('إضافة إلى كونها لغة', 'ﺇﺿﺎﻓﺔ ﺇﻟﻰ ﻛﻮﻧﻬﺎ ﻟﻐﺔ'),
+            ('رسمية في تشاد وإريتريا', 'ﺭﺳﻤﻴﺔ ﻓﻲ ﺗﺸﺎﺩ ﻭﺇﺭﻳﺘﺮﻳﺎ'),
+            ('وإسرائيل. وهي إحدى اللغات', 'ﻭﺇﺳﺮﺍﺋﻴﻞ. ﻭﻫﻲ ﺇﺣﺪﻯ ﺍﻟﻠﻐﺎﺕ'),
+            ('الرسمية الست في منظمة', 'ﺍﻟﺮﺳﻤﻴﺔ ﺍﻟﺴﺖ ﻓﻲ ﻣﻨﻈﻤﺔ'),
+            ('الأمم المتحدة، ويُحتفل', 'ﺍﻷﻣﻢ ﺍﻟﻤﺘﺤﺪﺓ، ﻭﻳﺤﺘﻔﻞ'),
+            ('باليوم العالمي للغة العربية', 'ﺑﺎﻟﻴﻮﻡ ﺍﻟﻌﺎﻟﻤﻲ ﻟﻠﻐﺔ ﺍﻟﻌﺮﺑﻴﺔ'),
+            ('في 18 ديسمبر كذكرى اعتماد', 'ﻓﻲ 18 ﺩﻳﺴﻤﺒﺮ ﻛﺬﻛﺮﻯ ﺍﻋﺘﻤﺎﺩ'),
+            ('العربية بين لغات العمل في', 'ﺍﻟﻌﺮﺑﻴﺔ ﺑﻴﻦ ﻟﻐﺎﺕ ﺍﻟﻌﻤﻞ ﻓﻲ'),
             ('الأمم المتحدة.', 'ﺍﻷﻣﻢ ﺍﻟﻤﺘﺤﺪﺓ.'),
         )
 
@@ -132,16 +135,16 @@ def setUp(self):
             ('اللغة العربية هي أكثر اللغات', 'ﺍﻟﻠﻐﺔ ﺍﻟﻌﺮﺑﻴﺔ ﻫﻲ ﺃﻛﺜﺮ ﺍﻟﻠﻐﺎﺕ'),
             ('تحدثاً ونطقاً ضمن مجموعة', 'ﺗﺤﺪﺛﺎً ﻭﻧﻄﻘﺎً ﺿﻤﻦ ﻣﺠﻤﻮﻋﺔ'),
             ('اللغات السامية', 'ﺍﻟﻠﻐﺎﺕ ﺍﻟﺴﺎﻣﻴﺔ'),
-            ('العربية لغة رسمية في',  'ﺍﻟﻌﺮﺑﻴﺔ ﻟﻐﺔ ﺭﺳﻤﻴﺔ ﻓﻲ'),
-            ('كل دول الوطن العربي',  'ﻛﻞ ﺩﻭﻝ ﺍﻟﻮﻃﻦ ﺍﻟﻌﺮﺑﻲ'),
-            ('إضافة إلى كونها لغة',  'ﺇﺿﺎﻓﺔ ﺇﻟﻰ ﻛﻮﻧﻬﺎ ﻟﻐﺔ'),
-            ('رسمية في تشاد وإريتريا',  'ﺭﺳﻤﻴﺔ ﻓﻲ ﺗﺸﺎﺩ ﻭﺇﺭﻳﺘﺮﻳﺎ'),
-            ('وإسرائيل. وهي إحدى اللغات',  'ﻭﺇﺳﺮﺍﺋﻴﻞ. ﻭﻫﻲ ﺇﺣﺪﻯ ﺍﻟﻠﻐﺎﺕ'),
-            ('الرسمية الست في منظمة',  'ﺍﻟﺮﺳﻤﻴﺔ ﺍﻟﺴﺖ ﻓﻲ ﻣﻨﻈﻤﺔ'),
-            ('الأمم المتحدة، ويُحتفل',  'ﺍﻷﻣﻢ ﺍﻟﻤﺘﺤﺪﺓ، ﻭﻳُﺤﺘﻔﻞ'),
-            ('باليوم العالمي للغة العربية',  'ﺑﺎﻟﻴﻮﻡ ﺍﻟﻌﺎﻟﻤﻲ ﻟﻠﻐﺔ ﺍﻟﻌﺮﺑﻴﺔ'),
-            ('في 18 ديسمبر كذكرى اعتماد',  'ﻓﻲ 18 ﺩﻳﺴﻤﺒﺮ ﻛﺬﻛﺮﻯ ﺍﻋﺘﻤﺎﺩ'),
-            ('العربية بين لغات العمل في',  'ﺍﻟﻌﺮﺑﻴﺔ ﺑﻴﻦ ﻟﻐﺎﺕ ﺍﻟﻌﻤﻞ ﻓﻲ'),
+            ('العربية لغة رسمية في', 'ﺍﻟﻌﺮﺑﻴﺔ ﻟﻐﺔ ﺭﺳﻤﻴﺔ ﻓﻲ'),
+            ('كل دول الوطن العربي', 'ﻛﻞ ﺩﻭﻝ ﺍﻟﻮﻃﻦ ﺍﻟﻌﺮﺑﻲ'),
+            ('إضافة إلى كونها لغة', 'ﺇﺿﺎﻓﺔ ﺇﻟﻰ ﻛﻮﻧﻬﺎ ﻟﻐﺔ'),
+            ('رسمية في تشاد وإريتريا', 'ﺭﺳﻤﻴﺔ ﻓﻲ ﺗﺸﺎﺩ ﻭﺇﺭﻳﺘﺮﻳﺎ'),
+            ('وإسرائيل. وهي إحدى اللغات', 'ﻭﺇﺳﺮﺍﺋﻴﻞ. ﻭﻫﻲ ﺇﺣﺪﻯ ﺍﻟﻠﻐﺎﺕ'),
+            ('الرسمية الست في منظمة', 'ﺍﻟﺮﺳﻤﻴﺔ ﺍﻟﺴﺖ ﻓﻲ ﻣﻨﻈﻤﺔ'),
+            ('الأمم المتحدة، ويُحتفل', 'ﺍﻷﻣﻢ ﺍﻟﻤﺘﺤﺪﺓ، ﻭﻳُﺤﺘﻔﻞ'),
+            ('باليوم العالمي للغة العربية', 'ﺑﺎﻟﻴﻮﻡ ﺍﻟﻌﺎﻟﻤﻲ ﻟﻠﻐﺔ ﺍﻟﻌﺮﺑﻴﺔ'),
+            ('في 18 ديسمبر كذكرى اعتماد', 'ﻓﻲ 18 ﺩﻳﺴﻤﺒﺮ ﻛﺬﻛﺮﻯ ﺍﻋﺘﻤﺎﺩ'),
+            ('العربية بين لغات العمل في', 'ﺍﻟﻌﺮﺑﻴﺔ ﺑﻴﻦ ﻟﻐﺎﺕ ﺍﻟﻌﻤﻞ ﻓﻲ'),
             ('الأمم المتحدة.', 'ﺍﻷﻣﻢ ﺍﻟﻤﺘﺤﺪﺓ.'),
         )
 
@@ -160,16 +163,16 @@ def setUp(self):
             ('اللغة العربية هي أكثر اللغات', 'ﺍﻟﻠﻐﺔ ﺍﻟﻌﺮﺑﻴﺔ ﻫﻲ ﺃﻛﺜﺮ ﺍﻟﻠﻐﺎﺕ'),
             ('تحدثاً ونطقاً ضمن مجموعة', 'ﺗﺤﺪﺛﺎً ﻭﻧﻄﻘﺎً ﺿﻤﻦ ﻣﺠﻤﻮﻋﺔ'),
             ('اللغات السامية', 'ﺍﻟﻠﻐﺎﺕ ﺍﻟﺴﺎﻣﻴﺔ'),
-            ('العربية لغة رسمية في',  'ﺍﻟﻌﺮﺑﻴﺔ ﻟﻐﺔ ﺭﺳﻤﻴﺔ ﻓﻲ'),
-            ('كل دول الوطن العربي',  'ﻛﻞ ﺩﻭﻝ ﺍﻟﻮﻃﻦ ﺍﻟﻌﺮﺑﻲ'),
-            ('إضافة إلى كونها لغة',  'ﺇﺿﺎﻓﺔ ﺇﻟﻰ ﻛﻮﻧﻬﺎ ﻟﻐﺔ'),
-            ('رسمية في تشاد وإريتريا',  'ﺭﺳﻤﻴﺔ ﻓﻲ ﺗﺸﺎﺩ ﻭﺇﺭﻳﺘﺮﻳﺎ'),
-            ('وإسرائيل. وهي إحدى اللغات',  'ﻭﺇﺳﺮﺍﺋﻴﻞ. ﻭﻫﻲ ﺇﺣﺪﻯ ﺍﻟﻠﻐﺎﺕ'),
-            ('الرسمية الست في منظمة',  'ﺍﻟﺮﺳﻤﻴﺔ ﺍﻟﺴﺖ ﻓﻲ ﻣﻨﻈﻤﺔ'),
-            ('الأمم المتحدة، ويُحتفل',  'ﺍﻟﺄﻣﻢ ﺍﻟﻤﺘﺤﺪﺓ، ﻭﻳُﺤﺘﻔﻞ'),
-            ('باليوم العالمي للغة العربية',  'ﺑﺎﻟﻴﻮﻡ ﺍﻟﻌﺎﻟﻤﻲ ﻟﻠﻐﺔ ﺍﻟﻌﺮﺑﻴﺔ'),
-            ('في 18 ديسمبر كذكرى اعتماد',  'ﻓﻲ 18 ﺩﻳﺴﻤﺒﺮ ﻛﺬﻛﺮﻯ ﺍﻋﺘﻤﺎﺩ'),
-            ('العربية بين لغات العمل في',  'ﺍﻟﻌﺮﺑﻴﺔ ﺑﻴﻦ ﻟﻐﺎﺕ ﺍﻟﻌﻤﻞ ﻓﻲ'),
+            ('العربية لغة رسمية في', 'ﺍﻟﻌﺮﺑﻴﺔ ﻟﻐﺔ ﺭﺳﻤﻴﺔ ﻓﻲ'),
+            ('كل دول الوطن العربي', 'ﻛﻞ ﺩﻭﻝ ﺍﻟﻮﻃﻦ ﺍﻟﻌﺮﺑﻲ'),
+            ('إضافة إلى كونها لغة', 'ﺇﺿﺎﻓﺔ ﺇﻟﻰ ﻛﻮﻧﻬﺎ ﻟﻐﺔ'),
+            ('رسمية في تشاد وإريتريا', 'ﺭﺳﻤﻴﺔ ﻓﻲ ﺗﺸﺎﺩ ﻭﺇﺭﻳﺘﺮﻳﺎ'),
+            ('وإسرائيل. وهي إحدى اللغات', 'ﻭﺇﺳﺮﺍﺋﻴﻞ. ﻭﻫﻲ ﺇﺣﺪﻯ ﺍﻟﻠﻐﺎﺕ'),
+            ('الرسمية الست في منظمة', 'ﺍﻟﺮﺳﻤﻴﺔ ﺍﻟﺴﺖ ﻓﻲ ﻣﻨﻈﻤﺔ'),
+            ('الأمم المتحدة، ويُحتفل', 'ﺍﻟﺄﻣﻢ ﺍﻟﻤﺘﺤﺪﺓ، ﻭﻳُﺤﺘﻔﻞ'),
+            ('باليوم العالمي للغة العربية', 'ﺑﺎﻟﻴﻮﻡ ﺍﻟﻌﺎﻟﻤﻲ ﻟﻠﻐﺔ ﺍﻟﻌﺮﺑﻴﺔ'),
+            ('في 18 ديسمبر كذكرى اعتماد', 'ﻓﻲ 18 ﺩﻳﺴﻤﺒﺮ ﻛﺬﻛﺮﻯ ﺍﻋﺘﻤﺎﺩ'),
+            ('العربية بين لغات العمل في', 'ﺍﻟﻌﺮﺑﻴﺔ ﺑﻴﻦ ﻟﻐﺎﺕ ﺍﻟﻌﻤﻞ ﻓﻲ'),
             ('الأمم المتحدة.', 'ﺍﻟﺄﻣﻢ ﺍﻟﻤﺘﺤﺪﺓ.'),
         )
 
@@ -248,5 +251,6 @@ def setUp(self):
     def test_reshaping(self):
         _reshaping_test(self)
 
+
 if __name__ == '__main__':
     unittest.main()