Inhalt
  1. Ergebnis und Handlungen getrennt messen
  2. Ein kleiner guter Testbestand schlägt eine beliebige große Sammlung
  3. Nicht jede Formulierung muss identisch sein
  4. Änderungen mit demselben Maßstab vergleichen
  5. Quellen

Der Assistent formuliert eine tadellose Antwort. Hinter den Kulissen hat er dafür jedoch den falschen Kunden geöffnet oder eine unnötige Änderung ausgelöst. Wer Agenten nur nach ihrer letzten Nachricht beurteilt, übersieht einen wesentlichen Teil ihrer Arbeit.

Ergebnis und Handlungen getrennt messen

Die LangChain-Dokumentation zum Testen unterscheidet unter anderem Unit-Tests, Integrationstests und Evaluationen von Agentenabläufen. Diese Trennung ist für betriebliche Piloten nützlich: Rechenlogik lässt sich anders prüfen als das Zusammenspiel mit einem echten System oder die Qualität einer frei formulierten Zusammenfassung.

Für eine Lieferauskunft wären mehrere Fragen relevant. Wurde die richtige Bestellung gefunden? Stammt der Status aus der vorgesehenen Quelle? Wurde Unsicherheit sichtbar gemacht? Hat der Agent ausschließlich gelesen? Erst die Kombination beantwortet, ob der Vorgang korrekt bearbeitet wurde.

Ein kleiner guter Testbestand schlägt eine beliebige große Sammlung

Starte mit realistischen, für den Test freigegebenen Beispielen. Die fachlich richtige Lösung sollte unabhängig vom Agenten feststehen. Ergänze Varianten mit fehlenden Angaben, widersprüchlichen Datensätzen und zulässigen Abbrüchen. Auch „nicht entscheidbar“ ist ein korrektes Ergebnis, wenn die Informationen nicht ausreichen.

Testgruppe Beispiel
Normalfall Eindeutige Bestellung mit bekanntem Versandstatus
Ausnahme Zwei passende Kundendatensätze
Technischer Fehler Zeitüberschreitung der Warenwirtschaft
Rechtefall Datensatz außerhalb des erlaubten Bereichs

Nicht jede Formulierung muss identisch sein

Ein Test auf exakt denselben Antworttext ist für offene Sprache oft zu starr. Prüfe stattdessen sachliche Kriterien: korrekte Nummer, zutreffender Status, verwendete Quelle und keine unbelegte Zusage. Bei strukturierten Rückgaben können Pflichtfelder und erlaubte Werte automatisch kontrolliert werden.

Die Werkzeugfolge muss ebenfalls nicht immer gleich sein. Ein unnötiger Aufruf ist meist weniger schwerwiegend als eine unzulässige Schreibaktion. Lege deshalb fest, welche Abweichungen nur Kosten verursachen und welche den Test zwingend scheitern lassen. Ein einzelner zusammengefasster Score würde diesen Unterschied leicht verdecken.

Änderungen mit demselben Maßstab vergleichen

Führe denselben Bestand nach Änderungen an Modell, Prompt oder Datenquelle erneut aus. Halte neben Erfolgsfällen auch Kosten, Wartezeit und Nacharbeit fest. Bei schwankenden Ergebnissen sind mehrere Durchläufe aussagekräftiger als eine gelungene Vorführung.

Bewahre einige Fälle zurück, die während der Entwicklung nicht ständig betrachtet werden. Sonst wird ein Prompt leicht auf bekannte Beispiele zugeschnitten und wirkt besser, als er im Alltag ist. Neue Fehlfälle können später in einen getrennten Regressionsteil aufgenommen werden. Halte dabei fest, warum ein Fall relevant ist. So wächst die Prüfung aus echten Prozessproblemen heraus und bleibt auch nach einem Modellwechsel für das Team nachvollziehbar.

Unsere Einordnung: Ein Pilot braucht keinen aufwendigen Prüfapparat. Er braucht nachvollziehbare Beispiele und klare Fehlergrenzen. Damit kannst du entscheiden, welche Routine tatsächlich automatisierbar ist und wo ein engerer Workflow die bessere Lösung bleibt.

Quellen & weiterführende Informationen

  1. LangChain: Test ↗Abgerufen: 2026-11-05