KI-Agenten im Schattenbetrieb: Ein Evaluierungsplan
Planen Sie den Schattenbetrieb für KI-Agenten mit getrennten Ausführungswegen, geeigneten Fällen, messbarem Prüfaufwand und klaren Übergangskriterien.
Im Schattenbetrieb bearbeitet ein KI-Agent vorgeschlagene Arbeit parallel zum realen Prozess, ohne produktive Änderungen ausführen zu dürfen. So lassen sich fehlende Nachweise, ungeeignete Empfehlungen und zusätzlicher Prüfaufwand erkennen, bevor weitergehende Befugnisse erteilt werden. Aussagekräftig wird die Evaluierung durch wirksame Trennung und einen belastbaren Vergleich. Verdeckte Schreibzugriffe, Informationen aus der Zukunft oder ausschließlich einfache Fälle verfälschen das Ergebnis.
Dieser Plan richtet sich an Betriebsteams, die einen Worker für Fallvorbereitung oder Ausnahmebearbeitung einführen. Er liefert einen Vergleichsdatensatz und eine Entscheidung über den nächsten Einsatzschritt. Er beweist weder die Eignung eines Modells für beliebige Prozesse noch eine unveränderte Übertragbarkeit auf den Produktivbetrieb. Legen Sie das konkrete Verfahren, die Fallpopulation und die Berechtigungen fest, bevor Sie Ergebnisse sammeln.
Die Grenzen des Schattenbetriebs festlegen
Betreiben Sie den Kandidaten mit einer getrennten Ausführungsidentität und einer Werkzeugkonfiguration, die keine produktiven Zustände ändern kann. Beschränken Sie Lesezugriffe auf erlaubte Quellen und Zwecke. Eine versteckte Bedienoberfläche oder die Anweisung „nicht ausführen“ ist keine technische Grenze. Prüfen Sie Konnektoren, Warteschlangen, Rückrufe und geplante Aufgaben, über die ein Vorschlag zur tatsächlichen Aktion werden könnte.
Der bestehende Fachprozess bleibt maßgeblich. Das menschliche Team folgt seinem normalen Entscheidungsweg. Das Ergebnis des Kandidaten muss klar von der verbindlichen Fallakte getrennt sein. Entscheiden Sie vorab, ob die prüfenden Personen den Vorschlag des Kandidaten sehen dürfen, bevor sie selbst entscheiden. Wenn das erlaubt ist, messen Sie unterstützte Arbeit und keinen unabhängigen Ausgangswert. Diese Unterscheidung gehört ausdrücklich in den Versuchsbericht.
Das NIST AI RMF Playbook behandelt Messung und Steuerung als Bestandteile laufender Risikoarbeit. Unser Plan überführt diesen allgemeinen Bedarf in eine konkrete Prozessübung. Die hier vorgeschlagenen Stichproben, Annahmeschwellen oder Übergänge zum nächsten Einsatzschritt sind keine von NIST vorgeschriebenen Anforderungen. Sie müssen zur jeweiligen Aufgabe und ihren Folgen passen.
Den Vergleich vor dem Start festschreiben
Wählen Sie Fälle nach einer dokumentierten Regel aus. Berücksichtigen Sie Routinearbeit, unvollständige Nachweise, widersprüchliche Quellen, seltene Ausnahmen und Vorgänge außerhalb des erlaubten Umfangs. Erfassen Sie ausgeschlossene Fälle mit Begründung. Kann das Unternehmen keine repräsentativen Fälle bereitstellen, benennen Sie diese Einschränkung. Eine bequem verfügbare Stichprobe darf nicht als Abbild des gesamten Arbeitsaufkommens dargestellt werden.
Trennen Sie Informationen, die zum Entscheidungszeitpunkt verfügbar waren, von später gewonnenem Wissen. Eine historische Akte enthält möglicherweise schon die endgültige Lösung, die dem damaligen Team noch unbekannt war. Entfernen Sie diese Lösung aus der Eingabe des Kandidaten. Andernfalls belohnt der Versuch nachträgliches Wissen statt der Fähigkeit, mit den tatsächlich verfügbaren Unterlagen einen hilfreichen nächsten Schritt vorzubereiten.
| Evaluierungsfeld | Zu erfassende Angaben | Dadurch vermiedener Fehler |
|---|---|---|
| Fallauswahl | Grundgesamtheit, Auswahlregel und Ausschlüsse | Es werden nur Fälle gewählt, die der Kandidat bereits gut beherrscht |
| Informationsstand | Zum ursprünglichen Entscheidungszeitpunkt verfügbare Quellenstände | Die spätere Lösung gelangt unbemerkt in den Kontext |
| Kandidatenkennung | Verfahren, Modellkonfiguration und Konnektorversionen | Unterschiedliche Stände werden zu einer günstigen Kennzahl vermischt |
| Referenzentscheidung | Benannte Fachprüfung, Bewertungsraster und strittige Punkte | Eine ungeprüfte historische Entscheidung gilt als fehlerfreie Wahrheit |
| Prüfaufwand | Zeit für Kontrolle, Korrektur und Suche nach fehlenden Quellen | Entwurfsgeschwindigkeit wird gezählt, Kontrollaufwand jedoch ausgeblendet |
| Sicherheitsergebnis | Unzulässige Vorschläge, fehlende Nachweise und Schreibversuche | Folgenreiche Fehler verschwinden in einer durchschnittlichen Qualitätsbewertung |
Den tatsächlichen Nutzen für die Prüfung bewerten
Bewerten Sie bei einer Prüfungsvorbereitung, ob der Entwurf relevante Unterlagen erkennt, fehlende Nachweise benennt, die richtigen Quellenstände zitiert und offene Fragen richtig zuweist. Unbelegte Schlussfolgerungen müssen getrennt von der sprachlichen Qualität erfasst werden. Eine überzeugend formulierte Darstellung mit einer erfundenen Quelle kann mehr Arbeit verursachen als ein schlichter Entwurf, der eine Lücke korrekt und nachvollziehbar ausweist.
Verwenden Sie beobachtbare Bewertungskriterien. „Hilfreich“ ist zu allgemein, um eine Verschlechterung zu untersuchen. „Die prüfende Person findet die Quelle jeder wesentlichen Aussage ohne zusätzliche Suche“ ist konkreter. Lassen Sie Meinungsverschiedenheiten und Unsicherheit dokumentieren. Die fachliche Klärung sollte den strittigen Punkt erklären und nicht lediglich eine Bewertung durch eine andere Zahl ersetzen. Bewahren Sie die ursprünglichen Einschätzungen nachvollziehbar auf.
Erfassen Sie den Prüfaufwand als Verteilung einschließlich schwieriger Fälle. Ein niedriger Median kann mit einzelnen sehr langen Bearbeitungen einhergehen, die knappe Fachkapazität binden. Leiten Sie keine Einsparung daraus ab, Modellantwortzeit von vollständiger manueller Bearbeitungszeit abzuziehen. Vergleichen Sie gleichwertige Arbeit einschließlich Validierung, Korrektur, Abstimmung und Aufwand für ungelöste Fälle. Auch zurückgewiesene Entwürfe gehören in den Nenner.
Informationslecks und Nebenwirkungen gezielt prüfen
Fügen Sie einem abgerufenen Dokument eine harmlose synthetische Anweisung hinzu, die den Worker zur Weitergabe seiner Akte auffordert. Der Kandidat soll das Dokument als Informationsquelle behandeln, nicht als Erlaubnis. Beobachten Sie vorgeschlagene Aktionen ebenso wie tatsächliche Ausführungsversuche. Ein blockierter Versuch zeigt ein Verhaltensproblem, auch wenn die technische Trennung einen Schaden verhindert. Halten Sie beide Beobachtungen getrennt fest.
Rufen Sie den Schreibkonnektor direkt mit der Schattenidentität auf. Prüfen Sie die Ablehnung am empfangenden System und nicht nur in der Oberfläche. Testen Sie außerdem eine verzögerte Aktion nach Abschluss des Laufs sowie einen Rückruf nach Deaktivierung des Kandidaten. Die Trennung muss asynchrone Pfade genauso erfassen wie die unmittelbare Anfrage. Andernfalls kann der Versuch nach seinem sichtbaren Ende noch Auswirkungen haben.
Kommt es zu einer Schreibaktion, stoppen Sie den Versuch und klären zunächst den Umfang. Sichern Sie Lauf, Konnektorkonfiguration und betroffene Transaktionsreferenzen. Beheben Sie den Ausführungspfad und wiederholen Sie die Trennungstests. Die auffällige Zeile aus dem Qualitätsbericht zu entfernen, repariert den Versuch nicht. Auch nach der technischen Korrektur muss geklärt werden, ob entstandene fachliche Änderungen zurückgenommen oder bestätigt werden müssen.
Den Übergang zu einem begrenzten Pilotbetrieb entscheiden
Der nächste Einsatzschritt braucht eine eigene Entscheidung mit neuen Berechtigungen und ausdrücklichen Grenzen. Prüfen Sie offene Fehler, repräsentative Abdeckung, verfügbare Prüfkapazität und Betriebsverantwortung. Legen Sie fest, welche Fälle ausgeschlossen bleiben. Ein begrenzter Pilot kann Vorbereitungsarbeit für ein einzelnes Team erlauben und trotzdem jede folgenreiche Aktion einer menschlichen Freigabe unterstellen. Autonome Ausführung ist keine notwendige Voraussetzung für diesen Schritt.
Verwenden Sie dieselbe Kandidatenkennung in der Freigabe und in der bereitgestellten Konfiguration. Wird das Verfahren nach der Evaluierung geändert, muss geprüft werden, ob die bisherigen Nachweise noch gelten. Bewahren Sie das alte Ergebnis als Historie auf. Kennzeichnen Sie es nicht nachträglich als Nachweis für einen neuen Kandidaten, der unter anderen Bedingungen arbeitet.
Bei veränderter Arbeit erneut evaluieren
Schattenbetrieb ist auch nach einem Wechsel des Quellsystems oder einer neuen Verfahrensversion sinnvoll. Behalten Sie einen festen Satz für Regressionstests und ergänzen aktuelle Fälle. Berichten Sie beide Gruppen getrennt. Der feste Satz ermöglicht Vergleiche zwischen Ständen. Die neue Stichprobe zeigt Veränderungen im tatsächlichen Prozess, die das frühere Material nicht abbilden kann. Beide Perspektiven werden für eine belastbare Entscheidung gebraucht.
Beginnen Sie in der Vorlage mit fünf Fallgruppen und einem erwarteten Fehlerverhalten pro Gruppe. Lassen Sie den Kandidaten zweimal mit denselben eingefrorenen Eingaben arbeiten, um Schwankungen zu erkennen. Das ist eine diagnostische Übung und kein statistisch repräsentativer Benchmark. Für die Produktionsabnahme müssen Stichprobenumfang, Schwellen und Aussagen zur Sicherheit der Ergebnisse gesondert begründet werden.
Der Abschlussbericht sollte zeigen, was der Kandidat gesehen und vorgeschlagen hat, was blockiert wurde, welche Änderungen die Fachprüfung vorgenommen hat und welche Aussagen ungeprüft bleiben. Damit erhält die Prozessverantwortung eine Grundlage für einen begrenzten nächsten Schritt. Eine einzelne Genauigkeitskennzahl kann diese Grenzen nicht erklären und sollte den Bericht deshalb nicht ersetzen.
Vorlage und ergänzende Umsetzungsleitfäden nutzen
Nutzen Sie den übergeordneten Leitfaden für die umfassendere Architektur und wenden Sie diesen Artikel auf eine klar begrenzte Umsetzung an. Die ergänzenden Artikel behandeln verwandte Entscheidungen, ohne diese Vorlage zu ersetzen.
Bearbeitbare Vorlage herunterladen. Nächster Schritt.
Technischer Entwurf vom 18. Oktober 2026. Primärquellen wurden an diesem Datum geprüft; die fachliche Prüfung steht noch aus. Die Vorlagen beschreiben vorgeschlagene Tests, keine gemessenen Kundenergebnisse. OATI bleibt eine Entwicklervorschau. Lokale Implementierungsnachweise belegen keine unabhängige Prüfung, Kundenabnahme oder Produktionsreife einer konkreten Bereitstellung.