KI verstehen / Unerwünschte Umlenkung eines KI-Systems durch eingeschleuste Anweisungen
Prompt Injection
Prompt Injection bezeichnet Eingaben, die das Verhalten eines KI-Systems durch eingeschleuste Anweisungen unerwünscht verändern. Sie können direkt in einer Nutzereingabe oder indirekt in abgerufenen Dokumenten auftreten. Kritisch wird es, wenn fremder Inhalt als handlungsleitende Anweisung behandelt wird und dadurch vorgesehene Grenzen beeinflusst.
Begriff 05 / 05
Automationen verstehen
Alle fünf Stationen sind erreichbar. Sie bestimmen die Reihenfolge.
← Zurück zu Kommunale VerwaltungEin hypothetischer Dokumentabschnitt könnte einen Assistenten auffordern, vertrauliche Daten an eine fremde Adresse zu senden. Eine sichere Anwendung begrenzt deshalb Werkzeuge und Datenzugriff, trennt vertrauenswürdige Vorgaben von Quelleninhalten und prüft kritische Aktionen. Die Abwehr wird mit gezielten Testfällen untersucht. Ein einzelner Filter oder System-Prompt bietet dafür keine vollständige Garantie.
Diesen Begriff im Wissensraum öffnen ↗