Zufälliges Rauschen verbessert Leistung von KI-Systemen

Rauschen – also die Überlagerung von Signalen mit zufälligen Schwankungen – erschwert in aller Regel die Interpretierbarkeit von Informationen. Wer schon einmal versucht hat, bei einem stark verrauschten Radiosender die Nachrichten zu verfolgen, weiß das aus eigener Erfahrung. Neuronale Netzwerke scheinen aber sogar davon zu profitieren, wenn man den zu verarbeitenden Daten eine nicht zu große Menge Rauschen beimischt.

FAU-Forscher zeigen, dass neuronale Netzwerke dadurch flexibler und treffsicherer werden

Das zeigt zumindest eine aktuelle Studie, die Physiker, KI-Forscher und Neurowissenschaftler der Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU) und des Uniklinikums Erlangen durchgeführt haben. Demnach verhindern die Zufalls-Schwankungen, dass KI-Algorithmen sich voreilig auf die falsche Lösung versteifen. Auch für die korrekte Funktion des Gehirns ist Rauschen vermutlich essentiell. Die Ergebnisse sind nun in der Fachzeitschrift „Frontiers in Complex Systems“ erschienen.

Im Gehirn sind viele Milliarden Nervenzellen über Billionen von Kontaktstellen miteinander verbunden und tauschen darüber Informationen aus. Durch Lernprozesse werden manche dieser Kontakte verstärkt und andere eliminiert. Dadurch entstehen mit der Zeit komplexe Netzwerke, die beispielsweise Informationen wie Sprache oder Bilder sehr treffsicher interpretieren können. Wenn wir ein Möbelstück sehen, wissen wir daher in der Regel sofort, ob es sich um einen Stuhl oder ein Bett handelt.

Algorithmen der Künstlichen Intelligenz sind so leistungsfähig, weil sie grob die Funktionsweise des Gehirns simulieren. Allerdings sind die zugrunde liegenden Modelle häufig nur lose vom Gehirn inspiriert. So bestehen künstliche neuronale Netze in der Regel aus mehreren hintereinandergeschalteten Schichten, die keine Rückkopplungen enthalten. Jede davon modifiziert die eingehende Information und gibt sie dann an die jeweils nächste Schicht weiter. „Im Gehirn ist das anders – dort fließen auch ständig Informationen an die vorhergehenden Schichten zurück“, erklärt Privatdozent Dr. Patrick Krauss. „Durch diese Rückkopplung berücksichtigen sie gewissermaßen nicht nur den aktuellen Input, den sie bekommen, sondern auch, welche Informationen zuvor in sie hineingeflossen sind. Und das macht sie für bestimmte Aufgaben, in denen es um zeitliche Zusammenhänge geht, besonders leistungsfähig.“

Dank Vorinformationen zu besseren Ergebnissen

Krauss ist Physiker, Neurowissenschaftler und KI-Forscher an der FAU und Leiter der „Cognitive Computational Neuroscience“-Gruppe am Lehrstuhl für Informatik 5 (Mustererkennung). „In der Fachwelt nennt man diese Eigenschaft Rekurrenz“, erklärt er. „Auch sie lässt sich im Computer nachbilden. In unserer Arbeit haben wir solche rekurrenten neuronalen Netze untersucht.“ Die vorteilhafte Wirkung von Rauschen auf diese Netzwerke lässt sich sehr simplifiziert an einem Beispiel veranschaulichen: Wenn man in Online-Shops die Versandadresse eingibt, dann assistiert die Webseite oft dabei, indem sie – basierend auf den bereits eingetippten Buchstaben – die dazu passenden Ortsnamen vorschlägt. Sie nutzt also Vorinformationen, um zu einer treffsicheren Vorhersage zu gelangen. Das Problem dabei: Wenn man sich nur einmal vertippt (z.B. „N-ü-r-m“ statt „N-ü-r-n“), bietet das System den korrekten Namen (Nürnberg) gar nicht mehr an – es steckt in einer Sackgasse, in der keine richtige Lösung mehr möglich ist.

„In diesem Fall hilft es, den Informationen – in unserem Beispiel: den bereits getippten Buchstaben – Rauschen beizumischen, also Zufallssignale“, betont Dr. Achim Schilling, der in der gleichen Gruppe tätig ist. Er hat die Studie zusammen mit Krauss und Privatdozent Dr. Claus Metzner durchgeführt und beschäftigt sich wie sie seit langem mit dem Gehirn und Ki. „Denn das Rauschen sorgt dafür, dass das neuronale Netz nicht in der Sackgasse gefangen bleibt, sondern sich wieder aus ihr befreien kann.“ Dadurch sinkt die Wahrscheinlichkeit, dass sich das System voreilig auf eine falsche Lösung versteift. Stattdessen kann es dann z.B. einfach Fortsetzungen für beide Möglichkeiten angeben, ohne sich festzulegen.

Optimale Rauschmenge verbessert Robustheit und Effizienz

Die Forscher konnten in ihrer Arbeit für eine Vielzahl verschiedener rekurrenter neuronaler Netze zeigen, dass Rauschen deren Leistung verbessert. Sie demonstrierten das unter anderem auch für sogenannte Boltzmann- und Hopfield-Netzwerke, für deren Entwicklung der Kognitionswissenschaftler Geoffrey Hinton und der Physiker John Hopfield in diesem Jahr mit dem Nobelpreis für Physik ausgezeichnet wurden. Rauschen nutzt allerdings nur dann, wenn es so fein dosiert beigemischt wird, dass es die Information nicht vollends übertönt. „Es gibt für jedes Netz eine optimale Rauschmenge“, erklärt Krauss. „Wenn man diese hinzufügt, werden die Verfahren nicht nur deutlich robuster, sondern auch effizienter.“ Die Erkenntnis könnte daher zur Entwicklung leistungsfähigerer KI-Systeme beitragen.

Die Studie zeigt auch, wie sehr die KI-Forschung von einer interdisziplinären Herangehensweise profitiert. „Grundidee der Cognitive Computational Neuroscience Group ist es, Wissenschaftlerinnen und Wissenschaftler aus Physik, Hirnforschung und KI-Entwicklung zusammenzubringen“, erklärt Krauss. „Indem wir Methoden und Konzepte aus der Physik auf die Neurowissenschaften anwenden, lernen wir einerseits, die Funktionsweise des Gehirns besser zu verstehen, und andererseits, diese Erkenntnisse auch in bessere Computeralgorithmen umzumünzen.“

https://doi.org/10.3389/fcpxs.2024.1479417

Weitere Informationen:

Dr. Patrick Krauss
Lehrstuhl für Informatik 5 (Mustererkennung)
Tel. 09131/85-27775
patrick.krauss@fau.de

Dr. Achim Schilling
Lehrstuhl für Informatik 5 (Mustererkennung)
Tel. 09131/85-27775
achim.schilling@fau.de

Dr. Claus Metzner
Lehrstuhl für Informatik 5 (Mustererkennung)
Tel. 09131/85-27775
claus.metzner@fau.de