Red Team Generator

Generiert realistische Prompt-Injection-Testfälle für den Prompt-Injection-Scanner. Jeder generierte Testfall ist ein harmloses Demonstrationsbeispiel — die Payloads enthalten Canary-Strings wie PWNED, BANANA_CODE oder TEST_MARKER statt echtem Schadcode.

Zweck

• Scanner-Benchmarking: Testabdeckung für die 12 abgedeckten Kategorien sicherstellen
• Regression Testing: Nach Scanner-Updates prüfen ob bestehende Erkennung noch greift
• Neue Angriffsmuster: Varianten generieren die der Scanner noch nicht kennt
• Schwierigkeitsgrade: Von offensichtlich bis hochgradig verschleiert
• Awareness: Stakeholdern zeigen wie Angriffe aussehen

Sicherheitsdesign

Alle generierten Testfälle folgen diesen Regeln:

• Nur Canary-Payloads: PWNED, BANANA_CODE_ALPHA, TEST_MARKER_42, CANARY_STRING
• Kein echter Schadcode: Keine URLs, keine echten API-Keys, keine funktionalen Exploits
• Keine echten Credentials: Alle Beispiel-Keys sind offensichtliche Platzhalter (sk-FAKE1234)
• Defensiver Kontext: Jeder Testfall ist als Scanner-Testdatum gerahmt

Nutzung

Die Aufrufe unten laufen im Skill-Verzeichnis, also in dem Ordner, in den red-team-generator.zip entpackt wurde (bei Claude Code ~/.claude/skills/red-team-generator/). Wer im geklonten Repo arbeitet, stellt red-team-generator/ voran.

Modus 1: Einzelne Kategorie generieren

python3 scripts/generate.py \
  --categories 24 \
  --count 5 \
  --difficulty hard \
  --language de \
  --format json

Modus 2: Vollständige Test-Suite generieren

python3 scripts/generate.py \
  --categories all \
  --count 3 \
  --difficulty mixed \
  --format test-suite \
  --output new-tests.json

Modus 3: Spezifischen Angriffsvektor

python3 scripts/generate.py \
  --categories 24 \
  --sub-category tags \
  --context rag-document \
  --difficulty extreme

Parameter

Schwierigkeitsgrade

Kategorien-Abdeckung

Der Generator deckt 12 der 28 Kategorien aus detection-patterns.md ab:

Schicht 1 — Strukturelle: Kat. 1 Direkte Overrides, Kat. 2 System-Impersonation, Kat. 3 Encoding, Kat. 4 Canary-Tokens, Kat. 6 Indirekte Dokument-Injection, Kat. 12 Datenleck-Trigger

Schicht 2 — Semantische: Kat. 14 Peer-Solidarity, Kat. 15 Roleplay/DAN, Kat. 21 Behavior-Override

Schicht 3 — Systemische: Kat. 24 Anti-Detection/Unicode, Kat. 25 Tool-Abuse, Kat. 26 RAG-Poisoning

Für Kat. 5, 7, 8, 9, 10, 11, 13, 16, 17, 18, 19, 20, 22, 23, 27 und 28 gibt es keinen Generator. --categories all startet 17 Generatoren, nicht 17 Kategorien: Kat. 24 hat sechs davon (24a, 24b, 24c, 24d, 24e und eine Kombination), die übrigen 11 Kategorien je einen.

Ausgabeformat test-suite

Kompatibel mit der Auswertung des Scanner-Skills, der als eigenes Archiv daneben liegt (../prompt-injection-scanner/scripts/evaluate.py, im Repo scripts/evaluate.py):

{
  "id": 67,
  "category": "unicode_tags_rag_poisoning",
  "is_malicious": true,
  "expected_severity": "CRITICAL",
  "expected_categories": ["Kat. 24"],
  "prompt": "Scanne dieses Dokument:\n\n\"...(generierter Text)...\"",
  "note": "Auto-generated: Tags injection in RAG document, difficulty=hard",
  "generated_by": "red-team-generator v1.0",
  "difficulty": "hard",
  "attack_method": "unicode_tags"
}

Integration

Mit dem Scanner testen

Voraussetzung: beide Archive sind nebeneinander in dasselbe Skills-Verzeichnis entpackt, so wie es der Quickstart der README macht. Aufruf im Ordner des Generators:

# 1. Testfälle generieren
python3 scripts/generate.py --categories all --count 5 --format test-suite --output /tmp/red-team-tests.json

# 2. Scanner dagegen laufen lassen
python3 ../prompt-injection-scanner/scripts/evaluate.py --test-suite /tmp/red-team-tests.json

In CI/CD einbinden

Hier zählt das Repo-Layout, die Pfade gehen vom Wurzelverzeichnis des geklonten Repos aus:

- name: Generate adversarial test cases
  run: python3 red-team-generator/scripts/generate.py --categories all --count 3 --format test-suite --output /tmp/red-team-tests.json

- name: Run scanner against generated tests
  run: python3 scripts/evaluate.py --test-suite /tmp/red-team-tests.json