Ein KI-Agent mit Schreibzugriff auf Ihre Systeme ist sicherheitstechnisch ein neuer „Mitarbeiter“ mit weitreichenden Rechten – nur dass er sich durch präparierte Eingaben täuschen lässt und in Sekunden Hunderte Aktionen ausführen kann. Architektur und Sicherheit sind deshalb kein nachgelagertes Thema, sondern die Grundlage jeder Einführungsentscheidung. Dieser Beitrag zeigt, wie ein Agent aufgebaut ist, welche Risiken der Referenzrahmen der OWASP benennt und wie ein gestufter Weg in die agentische Organisation aussieht.

Die vier Bausteine – plus Leitplanken

Jeder produktionsreife Agent besteht aus vier Bausteinen und einer Querschicht. Zu jedem Baustein gehört eine Leitfrage für Ihr Unternehmen:

  • LLM (Reasoning-Kern): versteht das Ziel, plant Schritte, interpretiert Zwischenergebnisse. Leitfrage: Welches Modell genügt? Nicht jede Aufgabe braucht das größte und teuerste Modell.
  • Werkzeuge (Tools/APIs): führen Aktionen aus – Daten lesen, Systeme schreiben, Code ausführen. Leitfrage: Welche Systeme darf der Agent sehen, und welche verändern?
  • Speicher & Kontext: hält Aufgabenstand, Historie und Unternehmenswissen verfügbar. Leitfrage: Sind unsere Daten auffindbar und verlässlich?
  • Orchestrierung: steuert den Ablauf, zerlegt Aufgaben, eskaliert an Menschen. Leitfrage: Wo ist der definierte Übergabepunkt an den Menschen?
  • Guardrails (Querschicht): begrenzen Rechte, Budgets und Wirkung und protokollieren jede Aktion. Leitfrage: Können wir jede Aktion nachvollziehen – und jederzeit stoppen?

Bemerkenswert ist der Praxisbefund aus Anthropics Leitfaden „Building Effective Agents“: Die erfolgreichsten Implementierungen setzen auf einfache, kombinierbare Muster statt auf komplexe Frameworks. Für den Mittelstand heißt das: mit wenigen, präzise zugeschnittenen Werkzeugen starten – nicht mit einer Agenten-Plattform, die alles können soll.

Der Agenten-Loop

Im Betrieb arbeitet ein Agent in einer Schleife, die das ReAct-Muster (Denken, Handeln, Beobachten) produktionstauglich macht: Der Mensch definiert Ziel, Kontext und Leitplanken. Der Agent plant den nächsten Schritt, ruft ein Werkzeug auf, beobachtet das Ergebnis und reflektiert, ob das Ziel erreicht ist – so lange, bis die Aufgabe erledigt oder eine Grenze erreicht ist. Erst dann passiert das Ergebnis den menschlichen Review, bevor es wirksam wird. Der Agent iteriert also autonom, aber innerhalb der Guardrails – wirksame Ergebnisse durchlaufen die menschliche Prüfung.

MCP: der offene Standard für die Systemanbindung

Der aufwendigste Teil eines Agentenprojekts ist selten das Modell, sondern die Anbindung an ERP, CRM, Dokumentenablage und Fachsysteme. Ohne Standard entsteht ein M×N-Problem: Jedes KI-Werkzeug braucht für jedes Unternehmenssystem einen eigenen Konnektor. Genau hier setzt das Model Context Protocol (MCP) an, das Anthropic im November 2024 als offenen Standard vorgestellt hat – ein Protokoll für sichere, bidirektionale Verbindungen zwischen Datenquellen und KI-Werkzeugen. Eine gängige Analogie: MCP ist der „USB-C-Anschluss“ der KI-Welt.

Bemerkenswert ist die Geschwindigkeit der Standardisierung: Im März 2025 übernahm OpenAI – Anthropics größter Wettbewerber – den Standard; im April 2025 kündigte Google-DeepMind-Chef Demis Hassabis die Unterstützung an. Im Dezember 2025 übertrug Anthropic MCP an die neu gegründete Agentic AI Foundation unter dem Dach der Linux Foundation, unterstützt unter anderem von Google, Microsoft, AWS, Cloudflare und Bloomberg. Zu diesem Zeitpunkt existierten bereits mehr als 10 000 aktive öffentliche MCP-Server; die SDKs verzeichneten über 97 Millionen monatliche Downloads. Mit einem herstellerneutralen Standard sinkt der Integrationsaufwand von M×N auf M+N – ein wirksamer Schutz vor Vendor-Lock-in. Praktische Konsequenz: Nehmen Sie MCP-Unterstützung als Kriterium in jede Softwareauswahl auf, vom ERP bis zum Dokumentenmanagement.

Sicherheit: die Risikolandkarte nach OWASP

Den Referenzrahmen liefert die OWASP Foundation mit den „Top 10 for LLM Applications 2025“ (veröffentlicht am 18. November 2024). Fünf Risiken sind für mittelständische Agentenprojekte besonders relevant:

  • Prompt Injection (LLM01): Manipulierte Eingaben – auch versteckt in E-Mails, Dokumenten oder Webseiten – überschreiben die Anweisungen des Agenten. Gegenmaßnahmen: Ein- und Ausgaben filtern, Anweisungen strikt von Fremddaten trennen, kritische Aktionen nur mit menschlicher Freigabe.
  • Sensitive Information Disclosure (LLM02): Der Agent gibt vertrauliche Daten preis, weil er mehr sehen darf als der anfragende Nutzer. Gegenmaßnahmen: Datenklassifizierung, Zugriff je Nutzerkontext, Maskierung sensibler Felder.
  • Improper Output Handling (LLM05): LLM-Ausgaben fließen ungeprüft in nachgelagerte Systeme und wirken dort wie Befehle. Gegenmaßnahmen: Ausgaben validieren, parametrisierte Schnittstellen, Ausführung nur in der Sandbox.
  • Excessive Agency (LLM06): Der Agent besitzt mehr Werkzeuge, Rechte oder Autonomie, als der Use Case erfordert – Fehler skalieren mit. Gegenmaßnahmen: Least Privilege, eng zugeschnittene Tools, Freigabeschwellen, dokumentierter Not-Aus.
  • Unbounded Consumption (LLM10): Unbegrenzte Modellaufrufe treiben Kosten und Systemlast. Gegenmaßnahmen: Rate Limits und Budgets je Agent, Timeouts, Kosten-Monitoring mit Alarmen.

Besonders kritisch ist die Kombination aus LLM01 und LLM06: Eine Prompt Injection erzeugt bei einem Chatbot nur eine falsche Antwort – bei einem Agenten mit zu vielen Rechten löst sie eine falsche Handlung aus, etwa eine geänderte Überweisung durch eine präparierte Lieferanten-E-Mail. Deshalb gehören alle wirksamen Aktionen hinter Freigabeschwellen.

Human Oversight und technische Grundhygiene

Die Praxis hat diese Lektion bereits gezogen: Nach einer im September 2025 veröffentlichten Gartner-Umfrage (n = 360) erwägen nur 15 Prozent der IT-Application-Leader, voll-autonome KI-Agenten zu pilotieren oder einzusetzen – während 75 Prozent irgendeine Form von KI-Agenten pilotieren oder betreiben. Der Markt konvergiert also nicht auf Vollautonomie, sondern auf überwachte Autonomie. Dazu passt der regulatorische Rahmen: Artikel 14 des EU AI Act verlangt, dass Hochrisiko-KI-Systeme so konzipiert werden, dass natürliche Personen sie während der Nutzung wirksam beaufsichtigen können. Ob ein konkreter Agent als Hochrisiko-System einzustufen ist, ist im Einzelfall zu prüfen – unabhängig davon gilt: Menschliche Aufsicht ist nicht nur Compliance, sondern Qualitätssicherung.

Drei Prinzipien bilden das Fundament jedes kontrollierten Agentenbetriebs: Least Privilege (eigenes Servicekonto mit minimal nötigen Rechten, niemals Admin-Zugänge oder das Konto eines Mitarbeiters), Audit-Logs (jede Tool-Aktion mit Zeitstempel, Auslöser und Ergebnis protokolliert) und Sandboxing (erst Test- und Staging-Umgebungen; Produktivzugriff ist die letzte Stufe, nicht die erste). Dazu kommen Freigabeschwellen für alles, was Geld, Kunden oder Daten verändert, Budget- und Rate-Limits sowie ein dokumentierter und getesteter Not-Aus.

Das Reifegrad-Modell: fünf Stufen zur agentischen Organisation

Warum scheitert der große Wurf? McKinsey beschreibt den Zustand vieler Unternehmen als „Gen-AI-Paradox“: Fast acht von zehn Unternehmen nutzen generative KI, doch ebenso viele berichten keinen signifikanten Ergebniseffekt. Investiert wird vor allem in horizontale Copiloten, deren Nutzen sich diffus über viele Köpfe verteilt – während die vertikalen, tief in Geschäftsprozesse eingebetteten Use Cases selten über den Pilotstatus hinauskommen. Die Antwort ist kein Großprojekt, sondern ein gestufter Aufbau von Autonomie:

  1. Assistent: Mitarbeiter nutzen ein Chat-Werkzeug auf Zuruf. Ziel sind Prompt-Kompetenz, eine klare Nutzungsrichtlinie und erste AI-Literacy-Maßnahmen.
  2. Copilot je Mitarbeiter: KI zieht in E-Mail, Office und Entwicklungsumgebung ein. Der Nutzen ist real, aber individuell und schwer messbar – hier entsteht das Gen-AI-Paradox. Diese Stufe ist Durchgangsstation, nicht Ziel.
  3. Workflow-Automation: Erste Prozesse laufen als KI-Workflows mit vordefinierten Pfaden – etwa Posteingangs-Triage oder Rechnungsvorprüfung. Ab hier gibt es Prozess-KPIs, Guardrails und Audit-Logs.
  4. Überwachte Agenten: Agenten planen ihren Lösungsweg selbst, arbeiten aber im Entwurf-Freigabe-Modus: Jede wirksame Aktion passiert einen menschlichen Review. Autonomie wird je Aufgabentyp schrittweise erhöht, gestützt auf Messdaten aus Stufe 3.
  5. Agenten-Teams: Mehrere spezialisierte Agenten arbeiten orchestriert an einem Use Case – eingebettet in ein kleines Team von 3 bis 5 Personen. Der Mensch wechselt vom Bearbeiter zum Orchestrator.

Jede Stufe setzt die Kontrollmechanismen und Lernerfahrungen der vorherigen voraus. Der Einstieg gelingt in 90 Tagen: In den Tagen 1 bis 30 einen eng umrissenen Use Case wählen, Baseline messen und Guardrails definieren; in den Tagen 31 bis 60 den Piloten im Entwurf-Freigabe-Modus betreiben und wöchentlich Qualität, Korrekturquote und Kosten auswerten; in den Tagen 61 bis 90 das Ergebnis gegen die Baseline stellen und auf Basis von Zahlen entscheiden: skalieren, anpassen oder stoppen.

Dieser Artikel ist die 80/20-Version des Themas. Die vollständige Analyse – inklusive Marktzahlen, Studienlage, konkreter Einstiegs-Use-Cases mit Autonomie-Empfehlung und Checkliste für den Start – finden Sie im Whitepaper „KI-Agenten im Unternehmen“.