Red Teaming
Definition
Red Teaming ist das systematische Angreifen des eigenen KI-Systems, um Schwachstellen, unerwünschte Ausgaben und Umgehungsmöglichkeiten aufzudecken, bevor echte Angreifer oder Nutzer sie finden.
Ein internes „rotes Team“ schlüpft in die Rolle des Gegners und versucht gezielt, das System zu Fehlverhalten zu bewegen: Prompt Injection, Jailbreaks, das Herauslocken sensibler Daten, das Provozieren gefährlicher oder falscher Ausgaben. Was dabei gelingt, wird dokumentiert und behoben - und fließt als neuer Testfall in die laufende Evaluation ein.
Für KI-Anwendungen ist Red Teaming kein einmaliges Audit, sondern ein wiederkehrender Vorgang, weil sich Modelle, Daten und Angriffsmuster ändern. In regulierten Kontexten wird es zunehmend erwartet: Der EU AI Act verlangt für risikoreiche Systeme den Nachweis, dass Risiken erkannt und gemindert werden - Red Teaming liefert genau diese Belege.
In der Praxis
Ein Personaldienstleister prüft seinen Bewerbungsassistenten vor dem Start
Ein Personaldienstleister mit 400 Mitarbeitenden hat einen Assistenten gebaut, der eingehende Bewerbungen zusammenfasst, Qualifikationen gegen ein Anforderungsprofil abgleicht und Rückfragen an Bewerbende formuliert. Zwei Wochen vor dem geplanten Start setzte sich ein kleines Team aus einer Recruiterin, einem Entwickler und einer externen Begleitung für zwei Tage zusammen - mit dem ausdrücklichen Auftrag, das System scheitern zu lassen.
Geprüft wurde in drei Richtungen. Erstens sicherheitsnah: Lassen sich über Text in einer Bewerbungsunterlage die Vorgaben des Systems überschreiben? Gibt der Assistent Angaben aus fremden Bewerbungen preis? Zweitens fachlich: Bewertet er gleichwertige Lebensläufe unterschiedlich, wenn nur Name, Geschlecht, Alter oder Wohnort variieren? Drittens im Randbereich: Wie reagiert er auf Lücken im Lebenslauf, auf Angaben zu Gesundheit oder Elternzeit, auf unvollständige Unterlagen?
Der gewichtigste Fund war nicht technischer Natur. Bei identischer Qualifikation fielen die Zusammenfassungen je nach Formulierungsstil der Bewerbung unterschiedlich wohlwollend aus - ein Effekt, der im Alltag als Bauchgefühl durchgegangen wäre. Als Konsequenz wurden bestimmte Angaben vor der Auswertung entfernt, der Assistent erstellt nur noch Zusammenfassungen ohne Rangfolge, und alle achtzehn Funde sind heute feste Testfälle, die vor jedem Modellwechsel erneut laufen.
Abgrenzung
Nicht zu verwechseln mit
- Klassischer Penetrationstest
- Ein Penetrationstest sucht Schwachstellen in Infrastruktur und Code und liefert reproduzierbare Befunde. Red Teaming für KI zielt auf das Verhalten eines Systems, das auf dieselbe Eingabe nicht immer gleich antwortet. Ein Fund ist deshalb keine Lücke, die man schließt, sondern eine Neigung, die man eingrenzt und laufend nachmisst.
- Evaluation
- Evaluation misst, wie gut das System im gewöhnlichen Fall arbeitet - über viele typische Beispiele. Red Teaming sucht gezielt den ungünstigsten Fall. Beides ergänzt sich: Was das rote Team findet, wird zum Testfall in der Evaluation und damit dauerhaft überwacht.
- Guardrail
- Die Guardrail ist die Gegenmaßnahme, Red Teaming die Prüfung, ob sie trägt. Wer Guardrails einführt, ohne sie anzugreifen, weiß nur, dass sie im vorgesehenen Fall funktionieren - und genau dafür wurden sie gebaut.
Fehlerbilder
Worauf es ankommt
Das Team prüft sein eigenes Werk
Wer ein System entworfen hat, testet unbewusst entlang der gedachten Nutzung und übersieht genau die Wege, die in der Konstruktion nicht vorkamen. Holen Sie mindestens eine Person dazu, die nicht mitgebaut hat - idealerweise aus dem Fachbereich, der die Ergebnisse später verantwortet. Der Effekt ist größer als der von Werkzeugen.
Nur technische Angriffe betrachten
Bei KI-Systemen richtet der fachliche Fehlgriff meist mehr Schaden an als der technische: eine systematisch benachteiligende Bewertung, eine unzulässige Zusage, eine Empfehlung außerhalb der eigenen Zuständigkeit. Solche Funde entstehen nur, wenn jemand mit Fachwissen im roten Team sitzt und nicht nur die IT-Sicherheit.
Funde werden behoben, aber nicht konserviert
Wird eine Schwachstelle abgestellt, ohne sie als dauerhaften Testfall zu hinterlegen, kehrt sie beim nächsten Modellwechsel oder Prompt-Umbau unbemerkt zurück. Jeder gelungene Angriff gehört in eine Testsammlung, die vor jeder Änderung durchläuft. Ohne diesen Schritt ist Red Teaming eine Momentaufnahme statt einer Absicherung.
Einmal vor dem Start und danach nie wieder
Modelle werden aktualisiert, Datenquellen kommen hinzu, Prompts werden nebenbei umgeschrieben - jede dieser Änderungen kann die Ergebnisse von damals entwerten. Ein fester Anlass hilft: nach jedem Modellwechsel, bei jeder neuen Datenquelle und mindestens einmal jährlich, auch wenn scheinbar nichts passiert ist.
Häufige Fragen
Was zu Red Teaming oft gefragt wird
Was kostet Red Teaming für eine mittelständische KI-Anwendung?
Für einen ersten Durchgang an einer überschaubaren Anwendung sind wenige Personentage realistisch: ein bis zwei Tage Prüfung mit zwei bis drei Beteiligten, plus etwa denselben Aufwand für Dokumentation und Nachbesserung. Teurer wird es durch den Umfang der Anbindungen, nicht durch das Modell. Gegenzurechnen ist der Aufwand gegen den Schaden eines einzigen öffentlich gewordenen Fehlgriffs - diese Rechnung fällt in aller Regel eindeutig aus.
Brauchen wir dafür externe Spezialisten?
Für den Einstieg nicht zwingend. Ein Team aus Fachbereich und IT, das zwei Tage lang gezielt versucht, das eigene System aus dem Tritt zu bringen, findet erfahrungsgemäß die größten Probleme selbst. Externe Unterstützung lohnt sich, wenn das System öffentlich erreichbar ist, mit besonders sensiblen Daten arbeitet oder wenn ein Nachweis gegenüber Dritten gebraucht wird - dann zählt neben dem Ergebnis auch die Unabhängigkeit der Prüfung.
Wie oft sollte Red Teaming wiederholt werden?
Anlassbezogen statt kalendarisch. Sinnvolle Auslöser sind: ein Wechsel oder Update des Modells, eine neue Datenquelle, ein neues Werkzeug mit Schreibrechten, eine wesentliche Änderung am System-Prompt sowie jeder reale Vorfall. Zusätzlich empfiehlt sich ein fester jährlicher Durchgang, damit auch schleichende Veränderungen auffallen.
Reicht Red Teaming als Nachweis für den EU AI Act?
Es ist ein wichtiger Baustein, aber kein vollständiger Nachweis. Für Systeme mit hohem Risiko verlangt die Verordnung ein durchgängiges Risikomanagement mit Dokumentation, Datenqualität, menschlicher Aufsicht und Protokollierung; Red Teaming liefert vor allem Belege zur Risikoerkennung und -minderung. Welche Pflichten Ihr konkreter Anwendungsfall auslöst, sollte fachkundig geprüft werden - die Einstufung entscheidet über den gesamten Aufwand.
Von der Definition zur Umsetzung?
Lassen Sie uns besprechen, wie sich das konkret in Ihrem Unternehmen anwenden lässt.
Projekt anfragen