🐛 fix: fix .PDF can not be chunked (lobehub#3720)

* ✨ feat: support eval page

* ✨ feat: 完善数据集页面

* ✨ feat: 完善数据集页面

* ✨ feat: 新增评测任务页面

* ✨ feat: 新增评测任务页面

* 🚧 wip: 新增评测任务功能

* ✨ feat: 完成评测执行流程

* 🐛 fix: 支持 evaluation 的删除和创建

* 支持任务状态展示和数据下载

* fix langchain 分块后缀识别

* fix i18n

* fix auth

* ♻️ refactor: 重构db

* 先添加默认模型

locales/ar/knowledgeBase.json

@@ -23,6 +23,7 @@
     "title": "إنشاء قاعدة معرفة جديدة"
   },
   "tab": {
+    "evals": "تقييمات",
     "files": "المستندات",
     "settings": "الإعدادات",
     "testing": "اختبار الاسترجاع"

locales/ar/ragEval.json

@@ -0,0 +1,91 @@
+{
+  "addDataset": {
+    "confirm": "إنشاء جديد",
+    "description": {
+      "placeholder": "وصف مجموعة البيانات (اختياري)"
+    },
+    "name": {
+      "placeholder": "اسم مجموعة البيانات",
+      "required": "يرجى إدخال اسم مجموعة البيانات"
+    },
+    "title": "إضافة مجموعة بيانات"
+  },
+  "dataset": {
+    "addNewButton": "إنشاء مجموعة بيانات",
+    "emptyGuide": "مجموعة البيانات الحالية فارغة، يرجى إنشاء مجموعة بيانات.",
+    "list": {
+      "table": {
+        "actions": {
+          "importData": "استيراد البيانات"
+        },
+        "columns": {
+          "actions": "الإجراءات",
+          "ideal": {
+            "title": "الإجابة المثالية"
+          },
+          "question": {
+            "title": "السؤال"
+          },
+          "referenceFiles": {
+            "title": "ملفات مرجعية"
+          }
+        },
+        "notSelected": "يرجى اختيار مجموعة بيانات من اليسار",
+        "title": "تفاصيل مجموعة البيانات"
+      },
+      "title": "مجموعة البيانات"
+    }
+  },
+  "evaluation": {
+    "addEvaluation": {
+      "confirm": "إنشاء جديد",
+      "datasetId": {
+        "placeholder": "يرجى اختيار مجموعة بيانات التقييم الخاصة بك",
+        "required": "يرجى اختيار مجموعة بيانات التقييم"
+      },
+      "description": {
+        "placeholder": "وصف مهمة التقييم (اختياري)"
+      },
+      "name": {
+        "placeholder": "اسم مهمة التقييم",
+        "required": "يرجى إدخال اسم مهمة التقييم"
+      },
+      "title": "إضافة مهمة تقييم"
+    },
+    "addNewButton": "إنشاء تقييم",
+    "emptyGuide": "مهمة التقييم الحالية فارغة، ابدأ بإنشاء تقييم.",
+    "table": {
+      "columns": {
+        "actions": {
+          "checkStatus": "تحقق من الحالة",
+          "confirmDelete": "هل تريد حذف هذه المهمة من التقييم؟",
+          "confirmRun": "هل تريد بدء التشغيل؟ بعد بدء التشغيل، سيتم تنفيذ مهمة التقييم في الخلفية بشكل غير متزامن، وإغلاق الصفحة لن يؤثر على تنفيذ المهمة غير المتزامنة.",
+          "downloadRecords": "تنزيل السجلات",
+          "retry": "إعادة المحاولة",
+          "run": "تشغيل",
+          "title": "الإجراءات"
+        },
+        "datasetId": {
+          "title": "مجموعة البيانات"
+        },
+        "name": {
+          "title": "اسم مهمة التقييم"
+        },
+        "records": {
+          "title": "عدد سجلات التقييم"
+        },
+        "referenceFiles": {
+          "title": "ملفات مرجعية"
+        },
+        "status": {
+          "error": "حدث خطأ أثناء التنفيذ",
+          "pending": "في انتظار التشغيل",
+          "processing": "جارٍ التشغيل",
+          "success": "تم التنفيذ بنجاح",
+          "title": "الحالة"
+        }
+      },
+      "title": "قائمة مهام التقييم"
+    }
+  }
+}

locales/bg-BG/knowledgeBase.json

@@ -23,6 +23,7 @@
     "title": "Създаване на нова знание база"
   },
   "tab": {
+    "evals": "Оценки",
     "files": "Документи",
     "settings": "Настройки",
     "testing": "Тест за извикване"

locales/bg-BG/ragEval.json

@@ -0,0 +1,91 @@
+{
+  "addDataset": {
+    "confirm": "Създаване",
+    "description": {
+      "placeholder": "Описание на набора от данни (по избор)"
+    },
+    "name": {
+      "placeholder": "Име на набора от данни",
+      "required": "Моля, попълнете името на набора от данни"
+    },
+    "title": "Добавяне на набор от данни"
+  },
+  "dataset": {
+    "addNewButton": "Създаване на набор от данни",
+    "emptyGuide": "Текущият набор от данни е празен, моля, създайте нов набор от данни.",
+    "list": {
+      "table": {
+        "actions": {
+          "importData": "Импорт на данни"
+        },
+        "columns": {
+          "actions": "Действия",
+          "ideal": {
+            "title": "Очакван отговор"
+          },
+          "question": {
+            "title": "Въпрос"
+          },
+          "referenceFiles": {
+            "title": "Референтни файлове"
+          }
+        },
+        "notSelected": "Моля, изберете набор от данни отляво",
+        "title": "Детайли на набора от данни"
+      },
+      "title": "Набор от данни"
+    }
+  },
+  "evaluation": {
+    "addEvaluation": {
+      "confirm": "Създаване",
+      "datasetId": {
+        "placeholder": "Моля, изберете вашия набор от данни за оценка",
+        "required": "Моля, изберете набор от данни за оценка"
+      },
+      "description": {
+        "placeholder": "Описание на задачата за оценка (по избор)"
+      },
+      "name": {
+        "placeholder": "Име на задачата за оценка",
+        "required": "Моля, попълнете името на задачата за оценка"
+      },
+      "title": "Добавяне на задача за оценка"
+    },
+    "addNewButton": "Създаване на оценка",
+    "emptyGuide": "Текущата задача за оценка е празна, започнете да създавате оценка.",
+    "table": {
+      "columns": {
+        "actions": {
+          "checkStatus": "Проверка на статуса",
+          "confirmDelete": "Наистина ли искате да изтриете тази оценка?",
+          "confirmRun": "Наистина ли искате да стартирате? След стартиране, задачата за оценка ще се изпълнява асинхронно на заден план, затварянето на страницата няма да повлияе на изпълнението на асинхронната задача.",
+          "downloadRecords": "Изтегляне на оценки",
+          "retry": "Опитай отново",
+          "run": "Стартиране",
+          "title": "Действия"
+        },
+        "datasetId": {
+          "title": "Набор от данни"
+        },
+        "name": {
+          "title": "Име на задачата за оценка"
+        },
+        "records": {
+          "title": "Брой оценки"
+        },
+        "referenceFiles": {
+          "title": "Референтни файлове"
+        },
+        "status": {
+          "error": "Грешка при изпълнение",
+          "pending": "В очакване на изпълнение",
+          "processing": "Изпълнява се",
+          "success": "Успешно изпълнение",
+          "title": "Статус"
+        }
+      },
+      "title": "Списък с задачи за оценка"
+    }
+  }
+}

locales/de-DE/knowledgeBase.json

@@ -23,6 +23,7 @@
     "title": "Wissensdatenbank neu erstellen"
   },
   "tab": {
+    "evals": "Bewertungen",
     "files": "Dokumente",
     "settings": "Einstellungen",
     "testing": "Rückruf-Test"

locales/de-DE/ragEval.json

@@ -0,0 +1,91 @@
+{
+  "addDataset": {
+    "confirm": "Neu erstellen",
+    "description": {
+      "placeholder": "Beschreibung des Datensatzes (optional)"
+    },
+    "name": {
+      "placeholder": "Name des Datensatzes",
+      "required": "Bitte geben Sie den Namen des Datensatzes ein"
+    },
+    "title": "Datensatz hinzufügen"
+  },
+  "dataset": {
+    "addNewButton": "Datensatz erstellen",
+    "emptyGuide": "Der aktuelle Datensatz ist leer, bitte erstellen Sie einen Datensatz.",
+    "list": {
+      "table": {
+        "actions": {
+          "importData": "Daten importieren"
+        },
+        "columns": {
+          "actions": "Aktionen",
+          "ideal": {
+            "title": "Erwartete Antwort"
+          },
+          "question": {
+            "title": "Frage"
+          },
+          "referenceFiles": {
+            "title": "Referenzdateien"
+          }
+        },
+        "notSelected": "Bitte wählen Sie einen Datensatz auf der linken Seite aus",
+        "title": "Details zum Datensatz"
+      },
+      "title": "Datensatz"
+    }
+  },
+  "evaluation": {
+    "addEvaluation": {
+      "confirm": "Neu erstellen",
+      "datasetId": {
+        "placeholder": "Bitte wählen Sie Ihren Bewertungsdatensatz aus",
+        "required": "Bitte wählen Sie einen Bewertungsdatensatz aus"
+      },
+      "description": {
+        "placeholder": "Beschreibung der Bewertungsaufgabe (optional)"
+      },
+      "name": {
+        "placeholder": "Name der Bewertungsaufgabe",
+        "required": "Bitte geben Sie den Namen der Bewertungsaufgabe ein"
+      },
+      "title": "Bewertungsaufgabe hinzufügen"
+    },
+    "addNewButton": "Bewertung erstellen",
+    "emptyGuide": "Aktuell sind keine Bewertungsaufgaben vorhanden, beginnen Sie mit der Erstellung einer Bewertung.",
+    "table": {
+      "columns": {
+        "actions": {
+          "checkStatus": "Status überprüfen",
+          "confirmDelete": "Möchten Sie diese Bewertungsaufgabe wirklich löschen?",
+          "confirmRun": "Möchten Sie die Ausführung starten? Nach dem Start wird die Bewertungsaufgabe im Hintergrund asynchron ausgeführt, das Schließen der Seite hat keinen Einfluss auf die Ausführung der asynchronen Aufgabe.",
+          "downloadRecords": "Bewertung herunterladen",
+          "retry": "Erneut versuchen",
+          "run": "Ausführen",
+          "title": "Aktionen"
+        },
+        "datasetId": {
+          "title": "Datensatz"
+        },
+        "name": {
+          "title": "Name der Bewertungsaufgabe"
+        },
+        "records": {
+          "title": "Anzahl der Bewertungsaufzeichnungen"
+        },
+        "referenceFiles": {
+          "title": "Referenzdateien"
+        },
+        "status": {
+          "error": "Fehler bei der Ausführung",
+          "pending": "Warten auf Ausführung",
+          "processing": "Wird ausgeführt",
+          "success": "Erfolgreich ausgeführt",
+          "title": "Status"
+        }
+      },
+      "title": "Liste der Bewertungsaufgaben"
+    }
+  }
+}

locales/en-US/knowledgeBase.json

@@ -23,6 +23,7 @@
     "title": "Create Knowledge Base"
   },
   "tab": {
+    "evals": "Evaluations",
     "files": "Documents",
     "settings": "Settings",
     "testing": "Recall Testing"

locales/en-US/ragEval.json

@@ -0,0 +1,91 @@
+{
+  "addDataset": {
+    "confirm": "Create",
+    "description": {
+      "placeholder": "Dataset description (optional)"
+    },
+    "name": {
+      "placeholder": "Dataset name",
+      "required": "Please enter the dataset name"
+    },
+    "title": "Add Dataset"
+  },
+  "dataset": {
+    "addNewButton": "Create Dataset",
+    "emptyGuide": "There are currently no datasets. Please create a dataset.",
+    "list": {
+      "table": {
+        "actions": {
+          "importData": "Import Data"
+        },
+        "columns": {
+          "actions": "Actions",
+          "ideal": {
+            "title": "Expected Answer"
+          },
+          "question": {
+            "title": "Question"
+          },
+          "referenceFiles": {
+            "title": "Reference Files"
+          }
+        },
+        "notSelected": "Please select a dataset on the left",
+        "title": "Dataset Details"
+      },
+      "title": "Dataset"
+    }
+  },
+  "evaluation": {
+    "addEvaluation": {
+      "confirm": "Create",
+      "datasetId": {
+        "placeholder": "Please select your evaluation dataset",
+        "required": "Please select an evaluation dataset"
+      },
+      "description": {
+        "placeholder": "Evaluation task description (optional)"
+      },
+      "name": {
+        "placeholder": "Evaluation task name",
+        "required": "Please enter the evaluation task name"
+      },
+      "title": "Add Evaluation Task"
+    },
+    "addNewButton": "Create Evaluation",
+    "emptyGuide": "There are currently no evaluation tasks. Start creating an evaluation.",
+    "table": {
+      "columns": {
+        "actions": {
+          "checkStatus": "Check Status",
+          "confirmDelete": "Are you sure you want to delete this evaluation?",
+          "confirmRun": "Are you sure you want to start running? The evaluation task will be executed asynchronously in the background, and closing the page will not affect the execution of the asynchronous task.",
+          "downloadRecords": "Download Evaluation",
+          "retry": "Retry",
+          "run": "Run",
+          "title": "Actions"
+        },
+        "datasetId": {
+          "title": "Dataset"
+        },
+        "name": {
+          "title": "Evaluation Task Name"
+        },
+        "records": {
+          "title": "Number of Evaluation Records"
+        },
+        "referenceFiles": {
+          "title": "Reference Files"
+        },
+        "status": {
+          "error": "Execution Error",
+          "pending": "Pending",
+          "processing": "In Progress",
+          "success": "Execution Successful",
+          "title": "Status"
+        }
+      },
+      "title": "Evaluation Task List"
+    }
+  }
+}