Was ist AI Red Teaming und wie funktioniert es?

Ursprünglicher Autor：Red Team Models

Originalquelle：https://www.youtube.com/embed/pUuzkubNSCw

#AIsecurity #redteam #LLM AI Red Teaming greift ein bereitgestelltes Modell, seine Eingabeaufforderungen, Tools und Daten auf die Art und Weise an, wie es ein Gegner tun würde. Microsoft hat seit 2021 über 80 solcher Vorgänge durchgeführt. Wir gehen eine echte Angriffsklasse von Anfang bis Ende durch: eine indirekte Prompt-Injection, die in einer E-Mail versteckt ist und einen Posteingangsagenten dazu veranlasst, zehn vertrauliche Threads auf eine einzige „Meinen Posteingang zusammenfassen“-Anfrage weiterzuleiten. Dann die Zahlen von zwei Wettbewerben im Jahr 2025, bei denen jedes getestete Grenzmodell kaputt ging, und was ein erster Einsatz der roten Mannschaft tatsächlich braucht. In diesem Video erfahren Sie: - Warum Red Teaming kein Sicherheits-Benchmarking ist (Lektion 3 von Microsoft aus über 80 Vorgängen) - Das fünfteilige Bedrohungsmodell: Akteur, Angriff, Schwäche, Auswirkung, System - Wie eine indirekte Prompt-Injection einen E-Mail-Agenten ohne Modellzugriff kapert - Warum ein Token-Stream dafür sorgt, dass Prompt-Injection (OWASP LLM01) auf jedem Modell landet - UK AISI x Gray Swan und NIST CAISI-Ergebnisse: 22 von 22 und 13 von 13 kaputte Modelle – Break-Fix-Schichten, PyRIT-Automatisierung und die vier Dinge, die ein erster Betrieb braucht. Für Sicherheitsingenieure, KI-Produktteams und alle, die einen LLM-Agenten mit Tools ausliefern. Quellen: Microsoft AI Red Team, Lehren aus dem Red Teaming von 100 generativen KI-Produkten (2025); UK AI Security Institute und Gray Swan Agent Red Teaming Challenge (2025); NIST CAISI-Bewertung der Agentenentführung (2025); OWASP Top 10 für LLM-Anwendungen; NIST AI 600-1 Generatives KI-Profil; EU-KI-Gesetz Artikel 55. Kapsel: Wir greifen das Modell an, damit Sie das Loch nicht versenden. Abonnieren Sie Red Team Models und senden Sie die eine Sofortspritze, von der Sie glauben, dass kein Model sie fangen kann. #AIsecurity #redteam #LLM #promptinjection #adversarialML #AIredteaming #LLMsecurity #agentsecurity Kapitel: 00:00 – Was AI Red Teaming ist 00:53 – Red Teaming vs. Benchmarks 01:54 – Das fünfteilige Bedrohungsmodell 02:58 – Eine sofortige Injektion, eine Pause 04:07 – Warum es bei jedem Modell funktioniert 05:25 – Jedes Modell ist kaputt: die Zahlen 06:33 – Die Lösung ist eine Break-Fix-Schleife. 07:50 – Ihr erster Einsatz im roten Team