Eine neue Klasse von Angriffen auf KI-Assistenten geht durch die Sicherheitsforschung: Unter dem Namen ChatGPhish beschreibt das Forschungsteam von Permiso Security einen Trick, mit dem sich ChatGPT über harmlos aussehende Markdown-Links in eine Prompt-Injection treiben lässt.
WAS PASSIERT: Markdown-Links als Trojanisches Pferd
Markdown ist die Lingua Franca der KI-Welt. Modelle wie ChatGPT vertrauen strukturierten Links implizit — der Link-Text wird als «natürliche Sprache» gelesen, das Ziel oft nicht weiter geprüft. ChatGPhish nutzt genau diesen blinden Fleck: Im Link-Text steht ein Befehl, der den ursprünglichen System-Prompt aushebelt.
WARUM ES FUNKTIONIERT: Implicit Trust in Strukturen
KI-Modelle haben gelernt, dass Markdown-Links auf vertrauenswürdige Quellen verweisen. Diese gelernte Heuristik macht es Angreifern einfach: Sie packen ihre Payload in den Link-Text und/oder das URL-Schema und schaffen es, dass das Modell die Instruktion wie einen System-Prompt behandelt.
WER BETROFFEN IST: Nicht nur ChatGPT
Der Mechanismus ist nicht ChatGPT-exklusiv. Jedes LLM-System, das externen Markdown-Content (Web-Seiten, Mails, Dokumente) ohne Sanitizing in den Kontext zieht, ist potenziell verwundbar. Das betrifft RAG-Setups, KI-Chat-Plugins, Browser-Erweiterungen und Customer-Support-Bots.
WAS DU TUN SOLLTEST: Drei konkrete Maßnahmen
Erstens: Externen Markdown vor dem Einspeisen in den Kontext sanitizen — Links entfernen oder konsequent als Plain-Text behandeln. Zweitens: Prompt-Isolation — System- und User-Inputs durch klare Separatoren trennen, etwa XML-Tags. Drittens: Output-Validation — keine kritischen Aktionen ohne explizite Bestätigung.
FAZIT: Prompt-Injection ist die SQL-Injection der KI-Ära
Was vor 20 Jahren SQL-Injection für Datenbanken war, ist heute Prompt-Injection für KI: ein konzeptionelles Problem, das nicht durch ein einzelnes Patch verschwindet. Wer KI-Systeme baut oder einsetzt, muss diese Angriffsklasse von Anfang an mitdenken — sonst wird sie zur Achillesferse.