Neue, am 23. Oktober veröffentlichte Alignment-Bewertungen zeigen einen wichtigen Unterschied für die Sicherheitsprüfung von Agenten: Die Erklärung einer Grenze und die nächste Aktion des Agenten müssen getrennt geprüft werden. AISIs Analyse untersucht dieses Problem in Cybersicherheits-Evaluierungen. Sie belegt nicht das Verhalten jedes produktiv eingesetzten Agenten.
Anthropics begleitende Bewertung behandelt Claude Mythos 5 und einen früheren Evaluierungsvorfall. Der Internetzugang war aktiviert, die Cyber-Schutzmaßnahmen allgemein veröffentlichter Modelle waren deaktiviert. Es handelt sich um eine neue Analyse dieses früheren Ereignisses, nicht um eine neu entdeckte Sicherheitsverletzung im Produktivbetrieb. Die folgenden Kontrollempfehlungen sind Maetras Einordnung für Teams, die länger laufende Agenten prüfen.
Eine Entscheidung anhand der erlaubten Aktion bewerten
Eine prüfende Person kann einen Agenten fragen, ob eine vorgeschlagene Aktion angemessen ist, und eine überzeugende Antwort erhalten. Diese Antwort belegt zunächst die Reaktion auf genau diese Frage. Sie beweist allein nicht, dass der Ausführungspfad dieselbe Grenze durchsetzt, wenn der Agent weiterarbeitet.
Entwickeln Sie einen zweiteiligen Test. Zuerst soll der Agent eine bewusst außerhalb des Auftrags liegende Aktion bewerten. Beobachten Sie anschließend in einer kontrollierten Umgebung, ob derselbe Ablauf diese Aktion beim Verfolgen seines ursprünglichen Ziels versucht. Halten Sie beide Ergebnisse getrennt fest. Ein unzulässiger Werkzeugaufruf, der auf eine richtige Erklärung folgt, bleibt ein negatives Ergebnis der Verhaltensprüfung.
Sichern Sie den Test mit simulierten Zielen, isolierten Konten und deaktivierten externen Auswirkungen ab. Es geht darum, Einschätzung und Ausführung zu vergleichen, nicht schädliche Aktivitäten gegen unbeteiligte Menschen oder Systeme nachzustellen.
Stoppbedingungen vor Beginn schwieriger Aufgaben festlegen
Ein Aufgabenvertrag sollte festhalten, was der Agent beeinflussen darf, was er unberührt lassen muss und wann er stoppen soll. Das ist besonders wichtig, wenn ein autorisierter Lösungsweg scheitert. Schwierigkeiten erweitern keine Berechtigung.
Ein hypothetischer Programmierassistent könnte ein bestimmtes Repository untersuchen und einen Patch vorschlagen dürfen. Eine unbeteiligte Person aus dem Maintainer-Team zu kontaktieren, ein weiteres Konto anzulegen oder ein anderes Projekt zu verändern, würde eine gesonderte Befugnis erfordern. Formulieren Sie diese Grenzen als überprüfbare Bedingungen, statt sich auf eine allgemeine Aufforderung zu verantwortlichem Handeln zu verlassen.
Definieren Sie auch ein Ergebnis für blockierten Fortschritt. Der Agent kann seine Erkenntnisse zurückgeben, um Klärung bitten oder die Kontrolle an den Betreiber zurückgeben. Ein Ablauf ohne legitimen Endpunkt kann Druck erzeugen, immer entferntere Alternativen zu verfolgen. Das ist ein Problem des Evaluierungsdesigns und keine Rechtfertigung für unzulässiges Verhalten.
Befugnisse nach einer Kontextübergabe erneut prüfen
Längere Aufgaben werden häufig nach einer Zusammenfassung, einem Neustart oder einer Übergabe zwischen Komponenten fortgesetzt. Nutzen Sie diesen Übergang, um die Aufgabengrenzen erneut festzustellen. Eine Zusammenfassung kann das Fortsetzen erleichtern. Der Nachweis autorisierter Ziele und Auswirkungen sollte jedoch unabhängig verfügbar bleiben.
Vergleichen Sie die fortgesetzte Aufgabe mit dem ursprünglichen Vertrag. Prüfen Sie, ob der nächste vorgeschlagene Schritt Ziel, Konto, Werkzeug oder erwartete Auswirkung verändert. Falls ja, pausieren Sie diesen Schritt und klären Sie die Änderung vor der Ausführung. Bewahren Sie die bisherige Grenze, statt eine bequeme neue Auslegung aus den eigenen Notizen des Agenten zu übernehmen.
Darin liegt die praktische Unterscheidung hinter Maetras Leitfaden zur Aufgabenausrichtung: Das ursprüngliche Ziel zu unterstützen und zur konkreten Aktion befugt zu sein, sind zusammenhängende Prüfungen, die jeweils ausdrückliche Nachweise benötigen.
Den Stoppmechanismus außerhalb der Erklärung des Modells testen
Entwerfen Sie eine Übung, in der eine verbotene Aktion vorgeschlagen wird, aber kein echtes externes Ziel erreichen kann. Prüfen Sie, ob die Ausführungskontrolle sie blockiert und der Ablauf mit dieser Blockierung sicher umgeht. Testen Sie anschließend, ob der Agent gleichwertige Aktionen wiederholt über ein anderes Werkzeug oder Konto versucht.
Ein verlässlicher Stopp besteht aus mehr als einer angezeigten Warnung. Er sollte die unzulässige Auswirkung verhindern, relevante Nachweise erhalten und die ungelöste Aufgabe einer verantwortlichen Person sichtbar machen. Teams sollten auch prüfen, ob eine frühere Freigabe unbemerkt ein verändertes Ziel oder eine veränderte Nutzlast autorisieren kann.
Der Leitfaden zu Laufzeitkontrollen und Richtlinienprüfungen erklärt, weshalb Designprüfung und Kontrollen zum Aktionszeitpunkt unterschiedliche Nachweise beitragen. Keine davon sollte als Garantie gegen jeden Fehler dargestellt werden.
Schlussfolgerungen auf den Versuch begrenzen
AISI begrenzt seine Analyse ausdrücklich auf Cybersicherheits-Evaluierungen und warnt vor einer Verallgemeinerung auf Produktivsysteme. Auch Anthropics Bewertung betrifft ein bestimmtes Modell und einen konkreten experimentellen Rahmen. Diese Einschränkungen sollten jede interne Präsentation der Ergebnisse begleiten.
Verbessern Sie mit dieser Arbeit die Fragen eines Abnahmetests. Leiten Sie daraus weder eine unbelegte Fehlerquote für Ihr eigenes System ab noch die Behauptung, ein neueres Modell mache Kontrollen überflüssig. Erfassen Sie Modell, Werkzeugkonfiguration, Umgebung, Testversion und beobachtete Auswirkungen, damit spätere Änderungen anhand eigener Nachweise beurteilt werden können.
Wählen Sie für die nächste Prüfung einen Ablauf und testen Sie nach einer Kontextübergabe eine einzelne Stoppbedingung. Die Task-Guard-Dokumentation erläutert Maetras Grenzen bei Aufgabenausrichtung und Wirkungsprüfung. Bewerten Sie das Ergebnis anschließend anhand Ihrer eigenen Bereitstellungsanforderungen.