Sicherheit
Erzwinge Sicherheitsregeln und miss die Qualität für Ein- und Ausgaben deiner Agenten.
Guardrails sind die Sicherheitsschicht rund um einen Agenten. Die Seite hat zwei Teile: Processors erzwingen Regeln auf Nachrichten (Moderation, PII, Prompt Injection), und Scorers messen die Qualität (Toxizität, Bias, Halluzination), damit du nachvollziehen kannst, was passiert ist.
Processor erstellen
- Öffne in der Seitenleiste Content & memory → Safety.
- Klicke in der Karte Guardrail processors auf Create processor.
- Gib einen Namen, eine optionale Beschreibung und einen Processor kind an (z. B. Moderation, PII detection, Prompt injection) — der Hilfetext jeder Art nennt, ob sie auf Eingabe, Ausgabe oder beides läuft.
- Bearbeite auf der Detailseite die Draft-Version: lege Strategy, Threshold und bei Bedarf ein Judge model fest.
- Klicke auf Save draft und dann auf Activate version, um sie live zu schalten.
Scorer hinzufügen
Klicke in der Karte Scorers auf Create scorer, gib einen Namen und eine Built-in metric an und aktiviere dann die Version. Binde einen Scorer an einen Processor, um Werte und Begründungen neben der Durchsetzung zu protokollieren.
Auf einen Agenten anwenden
Weise einer Agentenversion eine aktive Processor-Version in der Stufe Input oder Output zu; sie läuft dann bei jeder Nachricht in dieser Stufe.
Tipp: Aktive Versionen sind schreibgeschützt. Um ein Live-Guardrail zu ändern, nutze New draft from latest, bearbeite den Draft und aktiviere ihn — die vorherige Version läuft weiter, bis du das tust.
Verwandt
- Sichere Rollouts — Änderungen schrittweise ausrollen.
- Agent erstellen — hänge einen Processor an eine Stufe.