Wenn im Mittelstand über Künstliche Intelligenz diskutiert wird, geht es fast immer um Modelle: Welches ist das beste? Brauchen wir ein eigenes? Dabei scheitern KI-Projekte an den Modellen am seltensten – leistungsfähige Modelle sind heute für jedes Unternehmen per API verfügbar. Was sich zwischen Unternehmen wirklich unterscheidet, sind die eigenen Daten: Kundenhistorien, Artikelstämme, Serviceberichte, Verträge, Maschinendaten. Sie sind der einzige Rohstoff, den kein Wettbewerber kopieren kann – und zugleich der häufigste Grund, warum KI-Initiativen versanden. Nach Schätzungen, die die RAND Corporation in ihrer Ursachenanalyse zusammenträgt, scheitern mehr als 80 Prozent aller KI-Projekte. Die These lautet deshalb: Die meisten KI-Projekte scheitern nicht am Modell, sondern am Fundament.

Die RAND-Analyse: fünf Wurzelursachen des Scheiterns

Die RAND Corporation hat 2024 auf Basis von Interviews mit erfahrenen Data Scientists und Data Engineers die Wurzelursachen gescheiterter KI-Projekte untersucht. Das Ergebnis sind fünf Hauptursachen – und die Reihenfolge ist aufschlussreich:

  1. Missverstandenes Problem: Die häufigste Ursache ist ein Führungsthema – Stakeholder missverstehen oder kommunizieren falsch, welches Problem die KI eigentlich lösen soll.
  2. Fehlende Daten: An zweiter Stelle folgt das Datenfundament. Viele KI-Projekte scheitern laut RAND, weil der Organisation die notwendigen Daten fehlen, um ein wirksames KI-Modell angemessen zu trainieren.
  3. Technologie-Fokus: Das Team interessiert sich mehr für die neueste Technologie als für das Nutzerproblem.
  4. Fehlende Infrastruktur: Es mangelt an Infrastruktur für Datenmanagement und Modellbetrieb.
  5. Überforderte Technologie: Die KI wird auf Probleme angesetzt, die sie (noch) nicht lösen kann.

Zur fairen Einordnung: Daten sind laut RAND nicht die häufigste Ursache – die bleibt ein Führungs- und Kommunikationsproblem. Aber sie sind die häufigste technische Ursache, und bemerkenswerterweise betreffen zwei der fünf Ursachen (Nr. 2 und Nr. 4) direkt das Daten- und Infrastrukturfundament. Wer allerdings nur Daten aufräumt, aber das falsche Problem löst, scheitert trotzdem – Datenarbeit gehört deshalb strikt an einen konkreten Use Case gekoppelt.

Deutschland: Was die amtliche Statistik zeigt

Für Deutschland liefert das Statistische Bundesamt belastbare Zahlen. 2025 nutzten erst 26 Prozent der Unternehmen KI-Technologien. Interessanter ist die Gegenfrage: Warum entscheiden sich Unternehmen gegen KI? Unter den Unternehmen, die einen KI-Einsatz erwogen und dann verworfen haben, nennen laut Erhebung 2025 72 Prozent fehlendes Wissen im Unternehmen, 62 Prozent rechtliche Unsicherheiten, 60 Prozent Datenschutzbedenken – und 44 Prozent Schwierigkeiten mit der Verfügbarkeit oder Qualität der Daten. Im Vorjahr lag dieser Wert bei 45 Prozent.

Bemerkenswert: Das Datenproblem zieht sich durch alle Größenklassen – kleine Unternehmen nennen es zu 44 Prozent, mittlere zu 45 Prozent, große zu 43 Prozent. Es ist also kein reines KMU-Problem. Der Unterschied liegt woanders: Ein Konzern leistet sich Datenabteilungen, die das Problem abfedern. Im Mittelstand trifft dieselbe Hürde auf deutlich knappere Ressourcen – umso wichtiger ist ein fokussiertes, pragmatisches Vorgehen.

Die Gartner-Prognosen: „AI-ready“ oder abgebrochen

Auch die Analysten von Gartner rücken das Datenfundament ins Zentrum. Gartner prognostiziert, dass bis Ende 2026 60 Prozent der KI-Projekte aufgegeben werden, die nicht durch „AI-ready data“ – also für den KI-Einsatz aufbereitete und verwaltete Daten – unterstützt sind. In der zugrunde liegenden Umfrage (drittes Quartal 2024, 248 Befragte) gaben zudem 63 Prozent der Organisationen an, dass ihre Datenmanagement-Praktiken dafür nicht geeignet sind oder sie dies nicht beurteilen können. Bereits im Juli 2024 hatte Gartner prognostiziert, dass mindestens 30 Prozent der GenAI-Projekte nach dem Proof of Concept abgebrochen werden – unter anderem wegen schlechter Datenqualität.

Wichtig zur Einordnung: Das sind Prognosen und Analysteneinschätzungen, keine Messungen. Aber sie decken sich in der Stoßrichtung mit RAND und Destatis – drei unabhängige Quellen, ein Befund: Nicht das Modell, sondern das Datenfundament entscheidet über Erfolg oder Abbruch von KI-Projekten.

Data-centric AI: Gute Daten schlagen große Modelle

Wenn Daten der Engpass sind, muss die Konsequenz lauten: Die Arbeit an den Daten wird zur eigentlichen KI-Disziplin. Genau das ist der Kern einer Bewegung, die Andrew Ng – Stanford-Professor, Mitgründer von Google Brain und ehemaliger Chief Scientist von Baidu – im März 2021 unter dem Begriff Data-centric AI angestoßen hat. Seine Definition, nachzulesen im IEEE Spectrum (2022): Data-centric AI ist die Disziplin, systematisch genau die Daten zu entwickeln, die für den erfolgreichen Aufbau eines KI-Systems gebraucht werden.

Ngs Argument: Jahrelang hat die KI-Community den Code – die Modellarchitektur – ins Zentrum gestellt und die Daten als gegeben behandelt. In der Praxis ist es umgekehrt produktiver: das Modell weitgehend stehen lassen und stattdessen systematisch die Datenqualität verbessern – konsistente Labels, bereinigte Ausreißer, gezielt ergänzte Beispiele. Der Fokus verschiebt sich „von Big Data zu Good Data“: Statt immer größerer Datenmengen zählen saubere, konsistente, für den Anwendungsfall passende Daten. Gerade für den Mittelstand ist das eine gute Nachricht – denn über Datenmasse werden Sie nie gewinnen, über Datenqualität im eigenen Fachgebiet sehr wohl.

Warum GenAI daran nichts ändert – im Gegenteil

Man könnte meinen, große Sprachmodelle machten das eigene Datenfundament überflüssig – schließlich sind sie ja bereits trainiert. Das Gegenteil ist der Fall. Sobald ein Sprachmodell mit dem eigenen Firmenwissen arbeiten soll – der Standardansatz dafür ist Retrieval-Augmented Generation (RAG) –, wird die Qualität der Dokumente zur harten Obergrenze der Antwortqualität. Das belegt auch die Forschung: Barnett et al. haben 2024 sieben typische Fehlerquellen beim Aufbau von RAG-Systemen identifiziert. An erster Stelle steht „Missing Content“ – die Antwort steht schlicht nicht in der Wissensbasis, das System antwortet aber trotzdem. Weitere Fehlerquellen betreffen die fehlerhafte Aufbereitung und Zerlegung der Dokumente sowie widersprüchliche oder veraltete Inhalte. Kurz: Ein erheblicher Teil der RAG-Fehlerquellen sind keine KI-Probleme, sondern Datenqualitäts- und Dokumentenprobleme.

Wie viel Potenzial dabei ungenutzt bleibt, deutet eine von Seagate beauftragte IDC-Befragung aus dem Jahr 2020 unter 1.500 Führungskräften an: Demnach werden nur 32 Prozent der in Unternehmen verfügbaren Daten überhaupt genutzt – 68 Prozent bleiben ungenutzt. Als anbieterbeauftragte Erhebung ist die Zahl mit Vorsicht zu lesen; die Richtung deckt sich jedoch mit der Alltagserfahrung: Serviceberichte, E-Mail-Verläufe, Maschinenlogs und Vertragsarchive liegen in den meisten Unternehmen als toter Bestand – dabei sind genau sie der Rohstoff für RAG-Systeme und KI-Agenten.

Was daraus folgt

Wer den Datenengpass ignoriert, landet mit hoher Wahrscheinlichkeit in der Abbruchstatistik. Wer ihn systematisch und use-case-bezogen angeht, verschafft sich einen Vorsprung, den Wettbewerber nicht per API einkaufen können. Bei der Priorisierung von KI-Use-Cases gehört die Datenverfügbarkeit deshalb zu den harten Bewertungskriterien. Und der Hebel liegt nicht in einem 18-monatigen Plattform-Großprojekt ohne Anwendungsfall, sondern in fokussierter Arbeit am richtigen Datenausschnitt – an genau den 5 bis 10 Datenobjekten, die der erste KI-Use-Case tatsächlich braucht.

Die vollständige Analyse – inklusive der sechs Qualitätsdimensionen, des Governance-light-Ansatzes und einer 90-Tage-Roadmap – finden Sie im Whitepaper „Das Datenfundament“ von Nicholas Krimmel.