Model Autophagy Disorder – MAD

Model Autophagy Disorder (MAD) ist ein Phänomen, das bei Künstlicher Intelligenz (KI) und insbesondere bei generativen KI-Modellen auftreten kann. Der Begriff wurde von Forschern geprägt, um eine Art „Selbstverzehr“ oder „Selbstkonsumption“ von KI-Modellen zu beschreiben]. In einem neueren Experiment dauerte es nur fünf Durchgänge, bis die Programme „verrückt“ wurden und somit eine potenzielle „Achillesferse“ der KI offenbarten. Nicht nur Bild-, auch Sprachmodelle zeigten derartige Symptome, wenn sie mit ihren eigenen Erzeugnissen gefüttert werden. Dass die Qualität bei generativen KI-Modellen mit steigenden Mengen an KI-Inhalten im Internet langfristig abnehmen werde, ist wohl auch die Ursache dafür, dass Firmen extreme Anstrengungen unternehmen, die ganzen von Menschen produzierten Daten aus dem Internet abzusaugen, da das Internet derzeit noch nicht ‚radioaktiv‘ ist, also nicht von den synthetisch generierten Inhalten verseucht ist.

Hier sind die Hauptmerkmale von MAD:

Selbstverzehrende Schleife: KI-Modelle beginnen zunehmend, ihre eigenen Ausgaben als Eingaben zu verwenden, was zu einer Rückkopplungsschleife führt
Qualitätsverlust: Dies führt zu einem Rückgang der Qualität und Vielfalt der generierten Daten.
Ablösung von der Realität: Ungebremste KI-Systeme können sich von realen Daten und Kontexten lösen .
Wiederholtes Training: MAD tritt auf, wenn ein Modell wiederholt mit KI-generierten Daten trainiert wird.

Obwohl nicht bestätigt ist, dass MAD alle KI-Modelle betrifft, wurde es bei Autoencodern und Gaussian-Mixture-Modellen nachgewiesen.

Die Erforschung von MAD ist wichtig, da es ernsthafte Fragen zur Zuverlässigkeit und Nachhaltigkeit von KI-Systemen aufwirft, insbesondere wenn sie sich selbst als Datenquelle nutzen. Es unterstreicht die Notwendigkeit, kontinuierlich frische Daten aus der realen Welt in das Training einzubeziehen, um die Integrität und Qualität von KI-Modellen aufrechtzuerhalten.

Übrigens: Der Name „Model Autophagy Disorder“ wurde in Anlehnung an die Creutzfeldt-Jakob-Krankheit (auch als „Rinderwahnsinn“ bekannt) gewählt.