Testen und Release
Validiere Agenten mit Test-Suites und dem Prompt-Playground und befördere anschließend Versionen über die Deployments-Übersicht durch die Umgebungen.
Einen Agenten auszuliefern ist mehr als eine gute Antwort im Chat. MASAIC trennt Validierung (hat er sich korrekt verhalten?) von Release (ist in jeder Umgebung die richtige Version live?).
Testen im Workspace
Öffne Testing in der Seitenleiste für KI-native Auswertung:
| Bereich | Zweck |
|---|---|
| Tests | Testfälle und Suites über Web, IVR, Messaging und andere Kanäle. |
| Personas | Simulierte Nutzer:innen, die mehrstufige Journeys durchspielen. |
| Mock users | Wiederholbare Identitäten für Regressionsläufe. |
| Data sets | Batch-Eingaben für Auswertung im großen Maßstab. |
Praktiken, die skalieren
- Decke Happy Path und Edge Cases ab, die dein Playbook definiert (Ablehnungen, Übergaben, Tool-Fehler).
- Führe Suites in staging aus, bevor du beförderst.
- Kombiniere automatisierte Tests mit der Konversationsauswertung an echten erfassten Threads.
Prompt-Playground und Diffing
Wenn das Problem in Formulierung oder Modellverhalten liegt, nutze Prompts:
- Öffne einen Prompt und wechsle auf den Tab Playground, um Testeingaben gegen verbundene Modelle laufen zu lassen.
- Nutze Compare, um zwei Prompt-Versionen nebeneinander zu vergleichen, bevor du eine neue Version an einen Agenten hängst.
Umgebungen
Platform & release → Environments definiert die Grenzen, über die du beförderst — zum Beispiel dev, staging und production.
Faustregeln:
- Staging ist für Experimente, Test-Suites und Stakeholder-Review.
- Production ist für Endnutzer:innen und unbeaufsichtigte Automatisierung.
- Benenne Prompts, MCP-Server und Agent-Versionen so, dass die aktive Umgebung offensichtlich ist.
Deployments-Übersicht
Platform & release → Deployments ist die Beförderungsübersicht: welche Agent- (und zugehörigen) Versionen in jeder Umgebung live sind.
Bevor du beförderst:
- [ ] Änderungen im Agent-Playground auf der Zielumgebung validiert.
- [ ] Regressionstests grün in staging.
- [ ] Konversationsauswertung für risikoreiche Abläufe geprüft, sofern zutreffend.
- [ ] MCP-Scope für Produktionsagenten überprüft.
Release-Checkliste
Siehe Sichere Rollouts für die vollständige Governance-Checkliste. Die Kurzfassung: testen → auswerten → befördern → überwachen.
Weiterführende Lektüre
- Konversationsauswertung — Belege aus der Produktion.
- Automatisierungsaufgaben — unbeaufsichtigte Läufe nutzen dieselben Versionen, die du beförderst.
- Die masaic CLI — dieselben Versionen aus YAML in git anwenden, oder aus einer CI-Pipeline.