Die meisten Debatten über KI-Sicherheit drehen sich um Angriffe mit KI – Phishing, Deepfakes, Schadcode. Wer jedoch selbst Chatbots, Assistenten oder Automatisierungen betreibt, muss einen zweiten Vektor verstehen: Angriffe auf die eigene KI. Der wichtigste heißt Prompt Injection.

Das Grundproblem: Anweisung und Inhalt im selben Kanal

Ein Sprachmodell verarbeitet alles, was ihm vorgelegt wird, als einen einzigen Textstrom: die Anweisungen des Betreibers, die Frage des Nutzers – und sämtliche Inhalte, die es lesen soll. Bei einer Prompt Injection platziert ein Angreifer eigene Anweisungen dort, wo das Modell nur Inhalte verarbeiten sollte.

Besonders relevant für Unternehmen ist die indirekte Variante. Greshake et al. zeigten 2023, dass sich LLM-integrierte Anwendungen aus der Ferne kompromittieren lassen, indem Angreifer Anweisungen strategisch in Daten einbetten, die das System voraussichtlich abruft – etwa in E-Mails, Webseiten oder Dokumenten. Demonstriert wurden unter anderem Datenabfluss, Fernsteuerung des Assistenten und dauerhafte Kompromittierung. Übersetzt in den Büroalltag: Ihr KI-Assistent fasst eine eingehende Bewerbung zusammen – und in der Bewerbung steht, unsichtbar formatiert, eine Anweisung an das Modell. Der Angreifer muss Ihr System nie berühren; es genügt, dass Ihre KI seinen Inhalt liest.

Das BSI führt diese Angriffsklasse in seiner Risikosystematik für generative KI (28 Risiken, R1 bis R28) unter den Angriffen auf KI-Systeme – neben Data Poisoning, also dem Vergiften von Trainings- oder Wissensdaten, der Rekonstruktion von Trainingsdaten und der direkten Prompt-Manipulation.

Warum es dafür keinen Patch gibt

Die wichtigste strategische Einsicht stammt vom britischen National Cyber Security Centre (NCSC), das schon 2023 zur nüchternen Betrachtung von KI-Sicherheit mahnte und im Dezember 2025 präzisierte: Aktuelle Sprachmodelle erzwingen schlicht keine Sicherheitsgrenze zwischen Anweisungen und Daten innerhalb eines Prompts – aus Sicht des Modells gibt es „immer nur das nächste Token“. Anders als bei SQL-Injection, die sich durch parametrisierte Abfragen strukturell beheben ließ, existiert hier kein Trennmechanismus, den man nachrüsten könnte. Die Konsequenz des NCSC: Prompt Injection ist möglicherweise nie vollständig mitigierbar – also muss die Auswirkung eines erfolgreichen Angriffs reduziert werden. Drei Prinzipien leisten das:

  1. Rechte koppeln: Die Berechtigungen des KI-Systems dürfen das Rechteniveau der Daten, die es verarbeitet, nicht überschreiten. Ein Assistent, der beliebige eingehende E-Mails liest, darf keine Befugnis haben, Zahlungen auszulösen oder Kundendaten zu exportieren.
  2. Deterministische Kontrollen: Kritische Aktionen laufen durch klassische, nicht KI-basierte Prüfungen – Allowlists, feste Freigabe-Workflows, Validierung von Empfängern und Beträgen. Die Kontrolle darf nicht selbst ein Sprachmodell sein.
  3. Monitoring: Ein- und Ausgaben sowie alle ausgelösten Aktionen werden protokolliert und auf Anomalien überwacht, damit Missbrauch auffällt und nachvollziehbar bleibt.

Für die systematische Absicherung eigener KI-Anwendungen hat sich die OWASP Top 10 for LLM Applications (Version 2025) als Referenz etabliert. Neben Prompt Injection stehen dort unter anderem die Preisgabe vertraulicher Informationen, ungeprüft weiterverarbeitete Modell-Ausgaben und Excessive Agency – Systeme, die mehr Werkzeuge, Rechte oder Autonomie erhalten, als der Zweck erfordert.

Prompt Injection ist damit kein Programmierfehler, den der nächste Modell-Release behebt, sondern eine Eigenschaft der heutigen Architektur von Sprachmodellen. Planen Sie nicht mit ihrer Beseitigung, sondern mit ihrer Begrenzung. Die Leitfrage lautet: Was darf dieses System schlimmstenfalls tun, wenn es kompromittiert ist? Wenn die Antwort erträglich ist, ist das System richtig dimensioniert.

Wenn KI handeln darf: die Agentenrisiken

Sobald ein KI-System nicht nur Texte erzeugt, sondern E-Mails versendet, Dateien ändert oder Systeme ansteuert, vervielfacht sich die Angriffsfläche. Die OWASP-Initiative hat dafür im Februar 2025 den Katalog „Agentic AI – Threats and Mitigations“ mit 15 Bedrohungen vorgelegt. In mittelständischen Umgebungen werden zuerst relevant: Memory Poisoning (manipulierte Inhalte nisten sich im Langzeitgedächtnis des Agenten ein und wirken über Sitzungen hinweg fort), Tool Misuse (der Agent wird zu schädlicher Werkzeugnutzung wie Massenversand oder Datenexport verleitet), Privilege Compromise (der Agent nutzt oder erbt zu weitreichende Berechtigungen) sowie fehlende Nachvollziehbarkeit von Agenten-Aktionen. Die Gegenmaßnahmen bilden ein wiederkehrendes Muster: Least Privilege, Sandboxing, Approval-Gates und Logging – dieselben Prinzipien, die das NCSC für Prompt Injection empfiehlt. Wer sie beim Agenten-Rollout von Anfang an einbaut, erledigt beide Risikofelder mit einer Architektur.

Wie real ist Agentenmissbrauch? Die derzeit meistzitierten Fälle stammen aus den Transparenzberichten von Anthropic – also vom Anbieter selbst, was bei der Bewertung mitzulesen ist. Laut Anthropic nutzte im Sommer 2025 ein Einzeltäter ein agentisches Coding-Werkzeug für eine Datenerpressungskampagne gegen mindestens 17 Organisationen; die Forderungen überstiegen teils 500.000 US-Dollar. Im November 2025 berichtete Anthropic zudem, eine „weitgehend KI-orchestrierte“ Spionagekampagne unterbunden zu haben, bei der „80–90 %“ der Kampagne von der KI ausgeführt worden seien. Sicherheitsforscher bemängelten allerdings öffentlich die dünne Attributionsbasis dieses Selbstberichts. Die praktische Lehre gilt trotzdem: Agentenmissbrauch ist technisch plausibel und wird von Anbietern aktiv beobachtet – Ihre Kontrollen dürfen nicht darauf vertrauen, dass der Modellanbieter jeden Missbrauch selbst erkennt.

Schatten-KI: das stille Risiko in der Belegschaft

Während Agentenrisiken vor allem die nahe Zukunft betreffen, ist Schatten-KI längst Alltag: die private Nutzung öffentlicher KI-Tools durch Beschäftigte, vorbei an jeder Kontrolle. Die globale KPMG-Studie mit der Universität Melbourne (April 2025, über 48.000 Befragte in 47 Ländern) zeigt das Ausmaß: 57 Prozent der Beschäftigten, die KI nutzen, verheimlichen dies zumindest zeitweise gegenüber dem Arbeitgeber; 66 Prozent verwenden KI-Ergebnisse ohne Prüfung, und fast die Hälfte hat bereits sensible Firmendaten in öffentliche KI-Tools hochgeladen – während nur 47 Prozent je eine KI-Schulung erhalten haben. Für Deutschland liefert Bitkom (Oktober 2025, 604 Unternehmen ab 20 Beschäftigten) die Betriebssicht: 8 Prozent der Unternehmen berichten, dass Schatten-KI weit verbreitet ist, 17 Prozent kennen Einzelfälle, weitere 17 Prozent vermuten sie – aber nur 23 Prozent haben überhaupt Regeln zur KI-Nutzung aufgestellt.

Was dabei passieren kann, zeigte Samsung schon 2023: Nachdem Beschäftigte in drei Fällen vertrauliche Inhalte, darunter Quellcode, in ChatGPT eingegeben hatten, untersagte der Konzern die Nutzung generativer KI auf Firmengeräten. Ein Abfluss an Dritte wurde nie bestätigt – das Problem war der Kontrollverlust über die Daten.

Die Konsequenz ist nicht das Verbot – Verbote erzeugen erst den Schatten, wie die KPMG-Zahlen zur Verheimlichung belegen. Wirksamer ist ein attraktiver offizieller Weg: Enterprise-Verträge mit Auftragsverarbeitung und ohne Training auf Firmendaten, klare kurze Regeln, welche Datenklassen in welche Tools dürfen, und eine Kultur, in der gemeldete Nutzung beraten statt bestraft wird.

Was daraus folgt

Wer produktive KI-Systeme einführt, schafft neue Angriffsflächen – und Prompt Injection lässt sich nicht wegpatchen, sondern nur durch Architektur begrenzen. Die gute Nachricht: Die wirksamen Maßnahmen sind bekannt und bewährt. Rechte begrenzen, kritische Aktionen deterministisch absichern, alles protokollieren – und der Belegschaft einen offiziellen, sicheren Zugang zu KI geben, bevor sie sich selbst einen sucht.

Dieser Artikel ist die Kurzfassung. Die vollständige Abwehrarchitektur mit Governance-, Technik- und Mensch-Schicht finden Sie im Whitepaper „KI-Sicherheit“.