-
-
Notifications
You must be signed in to change notification settings - Fork 185
Language arabic
| Metric | Value |
|---|---|
| Average Score | 🟠 6.3/10 |
| Accuracy | 6.8/10 |
| Fluency | 6.3/10 |
| Style | 5.8/10 |
| Total Tests | 130 |
| Best Model | translategemma:27b |
| Worst Model | llama3.2 |
| Model | Overall | Accuracy | Fluency | Style |
|---|---|---|---|---|
| translategemma:27b | 🟡 7.8 | 8.1 | 8.1 | 7.1 |
| gemma3:27b-it-qat | 🟡 7.6 | 7.8 | 7.4 | 7.2 |
| gemma3:27b | 🟡 7.6 | 8.0 | 7.6 | 7.4 |
| translategemma:27b-it-q8_0 | 🟡 7.4 | 7.4 | 7.4 | 6.4 |
| qwen3.5:35b | 🟡 7.4 | 7.8 | 7.4 | 6.8 |
| google/gemini-2.0-flash-001 | 🟡 7.2 | 7.8 | 7.2 | 7.0 |
| google/gemini-3-flash-preview | 🟡 7.2 | 7.6 | 7.4 | 7.0 |
| translategemma:12b | 🟡 7.2 | 7.4 | 7.2 | 6.4 |
| qwen3:30b | 🟡 7.0 | 7.6 | 7.0 | 6.4 |
| mistralai/mistral-medium-3.1 | 🟡 7.0 | 7.6 | 6.8 | 6.8 |
| gemma3:12b | 🟠 6.8 | 7.6 | 6.8 | 6.6 |
| translategemma:12b-it-q4_K_M | 🟠 6.8 | 7.2 | 7.0 | 6.4 |
| qwen3:30b-instruct | 🟠 6.6 | 7.2 | 6.6 | 6.0 |
| translategemma:4b-it-q4_K_M | 🟠 6.6 | 7.0 | 6.8 | 6.0 |
| qwen3:14b | 🟠 6.2 | 6.8 | 6.2 | 5.8 |
| translategemma:4b | 🟠 6.2 | 6.4 | 6.6 | 5.4 |
| ministral-3 | 🟠 5.8 | 6.8 | 5.8 | 5.6 |
| ministral-3:14b | 🟠 5.8 | 6.8 | 5.8 | 5.8 |
| qwen3:4b | 🟠 5.6 | 6.6 | 5.4 | 5.4 |
| mistral-small:24b | 🟠 5.6 | 6.6 | 5.6 | 5.2 |
| gemma3:4b | 🟠 5.4 | 6.4 | 5.4 | 5.2 |
| qwen3:8b | 🟠 5.2 | 6.0 | 5.2 | 4.8 |
| qwen3.5:9b | 🔴 4.6 | 5.6 | 4.6 | 4.2 |
| llama3.1:8b | 🔴 3.0 | 3.8 | 3.0 | 2.4 |
| llama3.2 | ⚫ 1.2 | 2.0 | 1.2 | 1.0 |
Model: translategemma:27b Score: 🟢 9.5/10
View Translation
Original (English):
Translation (Arabic):
"يبدو أنك قضيت فترة في أفغانستان." "كيف عرفت ذلك تحديدًا؟" سألتُ باندهاش. "لا يهم"، قال وهو يضحك لنفسه. "السؤال الآن يتعلق بالهيموجلوبين. لا شك أنك تدرك أهمية هذا الاكتشاف الذي توصلت إليه، أليس كذلك؟" "إنه اكتشاف مثير للاهتمام من الناحية الكيميائية، لا شك في ذلك"، أجبتُ، "ولكن من الناحية العملية—" "يا رجل، إنه أهم اكتشاف طبي-قانوني عملي على الإطلاق في السنوات الأخيرة. ألا ترى أنه يمنحنا اختبارًا لا يقبل الخطأ للكشف عن بقع الدم؟"
Evaluator Feedback:
The translation is exceptionally accurate and captures the clinical yet enthusiastic tone of Sherlock Holmes perfectly. The choice of 'طبي-قانوني' for 'medico-legal' is precise, and the flow of the dialogue feels natural and period-appropriate in Arabic.
Model: translategemma:27b Score: 🟢 9.0/10
View Translation
Original (English):
Translation (Arabic):
ذهبت إلى الغابة لأنني أردت أن أعيش حياة واعية ومدروسة، وأن أواجه الحقائق الأساسية للحياة فحسب، وأن أرى ما إذا كان بإمكاني أن أتعلم ما يمكن أن تعلمني إياه، وألا أكتشف، عندما يحين موعد موتي، أنني لم أكن قد عشت حقًا. لم أكن أريد أن أعيش حياة باهتة، فالحياة ثمينة للغاية؛ ولم أكن أريد أن أتدرب على الاستسلام، إلا إذا كان ذلك ضروريًا للغاية. أردت أن أعيش بعمق وأن أستخلص كل جوهر الحياة.
Evaluator Feedback:
The translation is highly accurate and captures the philosophical weight of Thoreau's prose, though 'suck out all the marrow' is slightly softened to 'extract the essence' (أستخلص كل جوهر) rather than a more literal or visceral anatomical metaphor.
Model: qwen3.5:35b Score: 🟢 9.0/10
View Translation
Original (English):
Translation (Arabic):
إنه حقيقـة معروفة لدى الجميع، بأن الرجل الأعزب الذي يمتلك ثروة طائلة لا بدّ أنه يبحث عن زوجة. ورغم قلة المعرفة بمشاعر هذا الرجل أو آرائه عند دخوله الحي لأول مرة، فإن هذه الحقيقة قد ترسخّت بعمق في عقول العائلات المحيطة، لدرجة أن يُعتبر امتلاكاً شرعياً لواحدة من بناتهن دون شك.
Evaluator Feedback:
The translation is highly accurate and flows naturally in Arabic, successfully capturing the ironic tone of the original. The phrasing 'امتلاكاً شرعياً' is a clever and faithful rendering of 'rightful property,' though the opening sentence could be slightly more idiomatic.
| Score Range | Count | Percentage |
|---|---|---|
| 🟢 Excellent (9-10) | 5 | 3.8% |
| 🟡 Good (7-8) | 63 | 48.5% |
| 🟠 Acceptable (5-6) | 44 | 33.8% |
| 🔴 Poor (3-4) | 10 | 7.7% |
| ⚫ Failed (1-2) | 8 | 6.2% |