AP10: Evaluation

[DYsop]

AP10 – Evaluation

Ziel

Mehrdimensionale, reproduzierbare Evaluation über alle Komponenten durchführen.

Bezug zur Masterarbeit

Kapitel 11 – Evaluation; adressiert FF4.

Aufgaben

• Goldstandard-Testfälle vorbereiten
• Metriken je Dimension berechnen
• Ergebnisse dokumentieren und diskutieren

Akzeptanzkriterien

• Alle Evaluationsdimensionen abgedeckt
• Ergebnisse reproduzierbar (Seed, Konfiguration)
• Keine erfundenen Messwerte

Betroffene Dateien/Ordner

src/rag_framework/evaluation/, configs/evaluation.yaml, data/gold_standard/, notebooks/08_evaluation.ipynb

Erwartetes Ergebnis

Belastbare, reproduzierbare Evaluationsergebnisse.

Status

offen

Priorität

hoch

Meilenstein

M5 – Evaluation

---

Quelle: docs/project_workpackages/AP10_evaluation.md