Alle Insights
Branchennachrichten21. Aug. 2026Quelle: arXiv

Studie zeigt mögliches Datenleck aus dem Kontext von KI-Agenten

KI-Sicherheitsteam verfolgt ein indirektes Datenleck aus dem Agentenkontext über harmlose Modellausgaben

Ein am 20. August 2026 veröffentlichter Preprint berichtet, dass große Sprachmodelle Geheimnisse aus ihrem Kontext durch scheinbar harmlose Antworten verraten können, selbst wenn sie eine direkte Frage nach dem Geheimnis ablehnen. Die Autoren bezeichnen dieses Verhalten als unbeabsichtigtes Kontextleck. Die zentrale Aussage lautet nicht, dass jedes Modell oder jeder Agent jedes Geheimnis preisgibt. Sie lautet, dass Ablehnungsregeln allein möglicherweise nicht verhindern, dass verborgener Kontext spätere Ausgaben beeinflusst.

Das Ergebnis ist für Organisationen relevant, die Zugangsdaten, personenbezogene Daten, Fallakten, abgerufene Dokumente oder Langzeitspeicher in den Arbeitskontext eines Agenten legen. Wenn ein Modell Informationen über diesen Kontext in unauffälligem Text kodiert, braucht ein Angreifer möglicherweise weder eine klassische erfolgreiche Prompt Injection noch eine wörtliche Offenlegung. Wiederholte Beobachtungen könnten ausreichen, um eine geschützte Tatsache abzuleiten.

Was die Studie zu Kontextlecks bei LLMs untersucht hat

Das Paper Inadvertent Context Leakage in Language Models ist ein arXiv-Preprint in Version eins von Jaiden Fairoze, Neal Mangaokar, Kamalika Chaudhuri, Sanjam Garg und Saeed Mahloujifar. Die Forschenden führten Black-Box-Experimente mit acht proprietären Sprachmodellen durch. Sie legten ein Geheimnis in den Modellkontext, stellten sachfremde Fragen und prüften, ob statistische Muster in den harmlosen Antworten das Geheimnis erkennen ließen.

In kontrollierten Ziffernexperimenten berichten die Autoren von einer nahezu perfekten Rekonstruktion zweistelliger Geheimnisse und einer exakten Trefferquote von 82 Prozent bei vierstelligen Geheimnissen. Außerdem soll ein Klassifikator semantische Eigenschaften verborgener Informationen aus Ausgaben abgeleitet haben, die diese Informationen nicht ausdrücklich wiederholten. In einem weiteren Experiment mit Reinforcement Learning rekonstruierte ein Angreifer vollständige US-Sozialversicherungsnummern in einer vom Paper als produktionsnah beschriebenen Agentenumgebung.

Diese Zahlen sind Ergebnisse der Autoren. Sie belegen keine allgemeine Leckagerate für produktive Agenten und dürfen nicht ohne Tests auf ein anderes Modell, einen anderen Prompt, Workflow oder Datentyp übertragen werden. Das Paper berichtet zudem, dass leistungsfähigere Modelle in seinem Versuchsaufbau teilweise mehr Informationen preisgaben. Das stellt die Annahme infrage, bessere Schlussfolgerungsfähigkeiten verbesserten automatisch die Vertraulichkeit.

Warum harmlose Ausgaben das Sicherheitsmodell für Agenten verändern

Viele Agentenkontrollen richten sich auf offensichtliche Fehlereignisse: eine verbotene Antwort, einen bösartigen Werkzeugaufruf oder einen Prompt, der Anweisungen überschreibt. Ein Kontextleck ist unauffälliger. Eine erlaubte Ausgabe kann trotzdem mit einem geschützten Kontext korrelieren. Eine Folge risikoarm wirkender Antworten kann so zu einem Informationskanal werden.

Das ist besonders relevant, wenn ein Agent Nutzereingaben mit Systemanweisungen, abgerufenen Dokumenten, Speicherinhalten, Werkzeugergebnissen und Authentifizierungsdaten verbindet. Die OWASP-Leitlinie zur Offenlegung sensibler Informationen nennt System-Prompts, Dateien, Werkzeugausgaben, Geschäftsdaten und personenbezogene Informationen als Material, das durch eine LLM-Anwendung offengelegt werden kann. OWASP bestätigt die experimentellen Ergebnisse des neuen Papers nicht unabhängig. Das Risikomodell unterstützt aber die operative Prämisse, dass der laufende Kontext eine sensible Datenfläche ist.

Organisationen sollten deshalb die Kontextbildung als Sicherheitsgrenze behandeln. Maetras Leitfaden zu Kontrollen gegen Prompt Injection bei KI-Agenten erläutert das Zusammenspiel von Eingabeisolation, Werkzeugautorisierung und Ausgabekontrolle. Kontextlecks sind ein zusätzlicher Grund, Daten zu minimieren, bevor sie das Modell erreichen.

Praktische Maßnahmen für Betreiber von Agenten

Sicherheits-, Datenschutz- und KI-Plattformteams können sieben Kontrollen einsetzen:

  1. Laufenden Kontext minimieren. Nur die Felder senden, die für die aktuelle Entscheidung erforderlich sind. Wiederverwendbare Zugangsdaten, vollständige Identitätsdatensätze oder uneingeschränkte Dokumentsammlungen gehören nicht in einen allgemeinen Prompt-Kontext.
  2. Vertrauenszonen trennen. Daten verschiedener Nutzer, Mandate, Tenants und Berechtigungsstufen in getrennten Speicher- und Retrievalsystemen halten. Die Autorisierung muss vor dem Abruf greifen, nicht erst nach der Generierung.
  3. Wirkungsstarke Werte tokenisieren. Geheimnisse und direkte Identifikatoren durch kurzlebige Referenzen ersetzen, wenn das Modell den zugrunde liegenden Wert nicht benötigt. Die Auflösung darf nur in einem kontrollierten Werkzeug erfolgen.
  4. Ausgabe und Wiederholung begrenzen. Unnötige Freitextantworten reduzieren, systematische Abfragemuster drosseln und wiederholte harmlose Fragen überwachen, die statistische Schlussfolgerungen ermöglichen könnten.
  5. Indirekte Extraktion testen. Canary-Werte und mehrstufige Inferenzversuche in Red-Team-Prüfungen aufnehmen. Der Test muss Korrelationen über mehrere Ausgaben betrachten und nicht nur prüfen, ob ein Modell ein Geheimnis wiederholt.
  6. Folgenreiche Werkzeuge isolieren. Agenten kurzlebige Zugangsdaten mit geringsten Rechten über einen Broker geben. Für externe Aktionen mit hoher Wirkung sind deterministische Autorisierung und menschliche Prüfung erforderlich.
  7. Verwertbare Nachweise bewahren. Modell- und Richtlinienversion, Kontextquellen, Autorisierungsentscheidung, Werkzeugaufrufe, Schwärzungen, Prüfentscheidung und Vorfallreaktion dokumentieren, ohne unnötige Geheimnisse zu speichern.

Der Nachweis muss erklären können, warum Daten in einen Kontext gelangten und welche Kontrolle dies erlaubte. Maetras Leitfaden für KI-Auditprotokolle beschreibt einen Mindestdatensatz für nachvollziehbare Agentenentscheidungen.

Grenzen und die jetzt notwendige Entscheidung

Es handelt sich um frühe Forschung und nicht um eine peer-reviewte Messung aller eingesetzten Systeme. Der Preprint untersucht ausgewählte proprietäre Modelle unter kontrollierten Bedingungen, und Anbietermodelle können sich ändern. Die Ziffernaufgaben beweisen nicht, dass sich ein beliebiges produktives Geheimnis mit derselben Quote rekonstruieren lässt. Das produktionsnahe Experiment ist Evidenz aus dem Versuchsaufbau der Autoren und kein offengelegter realer Sicherheitsvorfall.

Die belastbare Schlussfolgerung ist enger: Ein bestandener Ablehnungstest reicht nicht als Nachweis, dass vertraulicher Kontext erlaubte Ausgaben nicht beeinflussen kann. Agentenbetreiber sollten Workflows mit wirkungsstarken Daten im Modellkontext identifizieren, diese Daten vor der Generierung reduzieren und mehrstufige Leckagetests in die Freigabe aufnehmen.

Maetra-Analyse: Kontextminimierung, Berechtigungstrennung und Nachweiserfassung sollten Freigabekriterien für Agenten sein, die regulierte oder vertrauliche Daten verarbeiten. Mit Maetra Secure können Teams diese Kontrollen Datenexpositionsrisiken und verantwortlichen Personen zuordnen.

Quellen

LLM-KontextleckSicherheit von KI-AgentenOffenlegung sensibler DatenDatenschutz für Agenten
Studie zeigt mögliches Datenleck aus dem Kontext von KI-Agenten | Maetra Insights