Model Collapse: Datenqualität und KI-Hygiene

KI-Werkzeuge werden besser – aber nur dann, wenn die Daten, mit denen sie arbeiten, verlässlich und überprüfbar sind. Dieses Kapitel erklärt ein unterschätztes Risiko namens Model Collapse und zeigt fünf praktische Gegenmaßnahmen.

Was ist Model Collapse?

Model Collapse bezeichnet den schleichenden Qualitätsverlust von KI-Modellen, wenn sie zunehmend auf KI-generierten Inhalten trainiert werden – statt auf echten, menschlich geprüften Daten.

Das klingt abstrakt, ist aber bereits heute relevant: Wer KI-generierte Texte, Zusammenfassungen oder Antworten ungeprüft übernimmt, veröffentlicht oder in Wissensdatenbanken speichert, füttert zukünftige KI-Systeme mit Material, das bereits einmal durch einen KI-Filter gelaufen ist.

Typische Folgen:

• Informationen werden unschärfer und stereotyper
• Randthemen und Minderheitspositionen verschwinden
• Fehler und Halluzinationen pflanzen sich fort
• Die Vielfalt der Ausgaben nimmt ab

Datenhygiene

Datenhygiene bedeutet: Eingabedaten sauber halten, bevor sie in KI-Systeme fließen.

• Prüfe Quellen, bevor du Inhalte in eine KI eingibst oder als Kontext verwendest
• Halte interne Dokumente, Protokolle und Wissensdatenbanken frei von unkritisch übernommenen KI-Texten
• Trenne Rohdaten (originale Texte, Originaldokumente) von bearbeiteten Fassungen – und kennzeichne den Unterschied
• Lösche oder archiviere veraltete Daten, bevor du sie als Kontext einsetzt – veraltete Infos + KI = falsche Antworten

Herkunftsnachweise

Herkunftsnachweise beantworten die Frage: Woher stammt diese Information? In einer Welt, in der KI-Texte kaum noch von menschlichen Texten unterscheidbar sind, ist die Herkunft einer Information ein eigenständiges Qualitätsmerkmal.

• Kennzeichne KI-generierte Texte intern (z. B. [KI-Entwurf, nicht geprüft])
• Halte fest, welche Quellen in einen KI-generierten Text eingeflossen sind
• Verlinke oder archiviere Originalquellen, auf die sich KI-Ausgaben beziehen
• Nutze Versionierung, um nachvollziehbar zu machen, was zu welchem Zeitpunkt galt

Freigabeprozesse

Ein Freigabeprozess sorgt dafür, dass KI-generierte Inhalte nicht automatisch zu offiziellen Inhalten werden – ohne menschliche Prüfung. Das muss nicht aufwendig sein. Schon ein Vier-Augen-Prinzip reicht für viele Teams aus.

• Lege fest, welche Inhalte freigegeben werden müssen (z. B. alles, was nach außen geht oder in eine Wissensdatenbank kommt)
• Bestimme, wer die Freigabe erteilt (Autor, Vorgesetzter, Fachexperte)
• Nutze einfache Status-Markierungen: Entwurf, In Prüfung, Freigegeben
• Dokumentiere, wer wann freigegeben hat – das schützt im Zweifel

Beispiel-Workflow für Teams:

Getrennte Wissensspeicher

Ein Wissensspeicher ist alles, woraus eine KI schöpft: Dokumente, Protokolle, Handbücher, Gesprächsverläufe, Datenbankeinträge. Das Problem entsteht, wenn verschiedene Inhaltstypen unkontrolliert vermischt werden.

• Nutze unterschiedliche Ordner, Dateipfade oder Datenbanken für diese Kategorien
• Wenn du ein KI-System mit eigenem Kontext nutzt (z. B. per Datei-Upload oder RAG), stelle sicher, dass nur geprüfte Inhalte eingespielt werden
• Bereinige den Wissensspeicher regelmäßig – mindestens vierteljährlich

Regelmäßige Qualitätsmessung

Qualitätsmessung bedeutet: systematisch prüfen, ob die Ausgaben eines KI-Systems noch verlässlich, nützlich und korrekt sind. Ohne Messung weiß niemand, ob sich die Qualität schleichend verschlechtert.

• Teste KI-Systeme regelmäßig mit bekannten Beispielfragen und prüfe, ob die Antworten noch stimmen
• Sammle Rückmeldungen aus dem Team: Wann war eine KI-Ausgabe falsch oder irreführend?
• Vergleiche Ausgaben über Zeit: Hat sich die Qualität verändert?
• Nutze eine einfache Bewertungsskala: ✓ korrekt / ~ ungefähr / ✗ falsch

Einfaches Qualitätsprotokoll (Vorlage):

Zusammenfassung

Model Collapse passiert überall dort, wo KI-generierte Inhalte ohne Kontrolle in Wissenssysteme einfließen. Die fünf Gegenmaßnahmen im Überblick: