Evaluierung & Ground Truth
Evaluierung misst, ob die KI richtig liegt. Maßstab ist ein Satz geprüfter Beispiele, die Ground Truth.
Eine Sammlung von Eingaben mit bekannter, korrekter Antwort, der Maßstab. Beispiel: hundert echte Anfragen, bei denen ein Fachmann die richtige Antwort vorab festgelegt hat.
Automatische Metriken, Regelprüfungen oder ein zweites Modell als Prüfer (LLM-as-Judge). Ergebnis ist eine Qualitätszahl statt Bauchgefühl, etwa ‚94 von 100 Fällen korrekt’.
Vor jeder Änderung lässt sich belegen, ob die Qualität steigt oder fällt. Beispiel: Eine neue Anweisung wird nur übernommen, wenn sie in der Messung besser abschneidet als die alte.
So wenden wir das in Ihrem Projekt an: geprüft, nachvollziehbar, in Deutschland betrieben.
Frage zu Ihrem Fall?
15 Minuten, unverbindlich. Wir sagen ehrlich, ob und wie es geht.
