Sprachmodelle der künstlichen Intelligenz werden mit großen Mengen Textdaten darauf trainiert, Sätze zu vervollständigen, wobei diese einfache Aufgabe kombiniert mit großen Netzen und vielen Daten dazu führte, dass es in den letzten Jahren große Fortschritten in der Computerlinguistik gab, denn statt vielfältige Regeln der Linguistik zu lernen, lernt Künstliche Intelligenz ausgehend von vorherigen Wörtern, das nächste Wort vorherzusagen. Generative Pre-trained Transformer 3 (GPT-3) entwickeln dabei ein autoregressives Sprachmodell, das Deep Learning einsetzt, um menschenähnlichen Text zu erzeugen. Diese Prognosefähigkeit Künstlicher Intelligenz erinnert dabei an die Theorie der prädiktiven Kodierung, dass also das Gehirn interne, sich ständig aktualisierende Modelle der Welt bildet und mit diesen fortlaufend Vorhersagen in der Wahrnehmung und Kognition trifft, die mit den tatsächlich eintreffenden Informationen verglichen werden.
Wissenschaftliche Veröffentlichungen zeigen auch, dass sich die neuronale Aktivität mittlerer Schichten von GPT-Modellen auf das Gehirn während des Konsums von Text oder Sprache abbilden lassen. Dabei können Aktivitäten aus einer tieferen Schicht des neuronalen Netzes etwa in synthetischen Bilder der Funktionellen Magnetresonanztomographie verwandelt und mit echten Aufnahmen von Menschen verglichen werden. Diese Ähnlichkeiten zwischen Deep-Learning-Algorithmen und dem Gehirn ermöglichen es, die Art und Weise zu verändern, wie man die Bildgebung des Gehirns untersucht, denn je mehr man einen Text versteht, desto mehr reagiert das menschliche Gehirn wie das GPT-Modell. Anhand der Daten von Epilepsiepatienten konnte man auch zeigen, dass die Gehirne ohne explizite Aufgabenstellung kommende Wörter vorhersagten, wobei die Prognosesignale bis zu tausend Millisekunden früher auftraten. Allerdings sind aktuelle Sprachmodelle noch weit davon entfernt, mit dem Sprachvermögen des menschlichen Gehirns mitzuhalten, denn während KI-Modelle auf die Vorhersage des nächsten Wortes trainiert werden, trifft das Gehirn nach der Theorie der prädiktiven Kodierung weiterreichende und vor allem hierarchische Vorhersagen. Statt also nur das nächsten Wort zu prognostizieren, sagt das Gehirn mehrere Wörter voraus und nutzt neben den ebenfalls von KI-Modellen verwendeten syntaktischen Informationen auch die Semantik für weiterreichende und abstrakte Prognosen.
Literatur
https://mixed.de/was-sprachalgorithmen-und-das-menschliche-gehirn-gemeinsam-haben/ (21-12-12)
Nachricht ::: Soziale Robotik ::: Impressum
Datenschutzerklärung ::: © Benjamin Stangl :::