Konversationsauswertung
Erfasste Konversationen untersuchen: Transkripte, operative Timeline, Traces, Annotationen und automatische Ergebnisanalyse.
Der Agent-Playground zeigt dir, wie sich ein Agent verhält, wenn du fragst. Die Konversationsauswertung zeigt dir, wie er sich für echte Nutzer:innen verhalten hat — und liefert deinem Team die Belege, um Prompts, Tests und Releases zu verbessern.
Konversationen öffnen
- Betritt einen Team-Workspace.
- Öffne in der Seitenleiste Qualität und wähle Konversationen unter Auswertung.
- Filtere oder suche nach einem Thread und öffne dann die Detailansicht des Laufs.
Was du bei einem Lauf siehst
Jeder Konversations-Thread öffnet eine Detailseite mit Tabs:
| Tab | Zweck |
|---|---|
| Conversation | Transkript plus operative Timeline — was gesagt wurde und was die Plattform während des Laufs aufgezeichnet hat. |
| Lineage | Aufrufbaum und Trace-Kontext über verschachtelte Agenten- oder Tool-Aufrufe hinweg. |
| Analysis | Automatische Ergebnisanalyse, wenn sie für deinen Workspace aktiviert ist. |
| Annotate | Rubrik-basierte menschliche Auswertung — Qualität bewerten und Erkenntnisse festhalten. |
Nutze Conversation für das alltägliche Debugging; nutze Lineage, wenn du Tool-Aufrufen oder verschachtelten Aufrufen folgen musst; nutze Annotate und Analysis für Qualitätsprogramme und Regressions-Tracking.
Typischer Auswertungsablauf
- Finden — Filtere Konversationen nach Agent, Kanal, Umgebung oder Zeitraum.
- Lesen — Gehe das Transkript zusammen mit den Timeline-Ereignissen durch (Tool-Aufrufe, Übergaben, Fehler).
- Nachverfolgen — Öffne Lineage, wenn der Fehler in der Ausführung liegt, nicht in der Formulierung.
- Bewerten — Annotiere mit der Rubrik deines Teams oder sieh dir die Ergebnisse der automatischen Analyse an.
- Handeln — Verwandle Erkenntnisse in Prompt-Änderungen, neue Testfälle oder ein zurückgehaltenes Deployment.
Wann Auswertung, wann Playground
| Situation | Eher Agent-Playground | Eher Konversationsauswertung |
|---|---|---|
| An einer Prompt-Änderung iterieren | ✓ | |
| Ein von Kund:innen gemeldetes Problem nachstellen | ✓ | |
| Tool-Aufrufe in Produktion prüfen | ✓ | |
| Ein Qualitäts-Scorecard aufbauen | ✓ | |
| Demo für Stakeholder im Raum | ✓ |
Weiterführende Lektüre
- Agent-Playground — Validierung vor dem Ausliefern.
- Testen und Release — automatisierte Suites und Beförderung.
- Sichere Rollouts — Governance vor Produktionsänderungen.