Wie die Hirnforschung der Künstlichen Intelligenz auf die Sprünge hilft
FAU-Forscher ebnen den Weg zur effizienteren KI
Künstliche Intelligenz (KI), speziell das Training von KI-Systemen wie ChatGPT, verbraucht gewaltige Mengen an Energie. Könnte KI stärker wie menschliche Gehirne arbeiten, wäre sie wesentlich effizienter. Dr. Achim Schilling und Dr. Patrick Krauss vom Neurowissenschaftlichen Labor der Hals-Nasen-Ohren-Klinik ‒ Kopf- und Halschirurgie des Uniklinikums Erlangen haben zusammen mit den Kollegen Dr. Richard Gerum aus Kanada und Dr. André Erpenbeck aus den USA eine Methode entdeckt, bestimmte künstliche Nervenzellen so zu verändern, dass sie sich eher wie die Nervenzellen im Gehirn verhalten.
Die Arbeit der Forscher an der FAU hat zum Ziel, die Entwicklung Künstlicher Intelligenzsysteme zu unterstützen, die weniger Ressourcen wie Energie oder Computerleistung beanspruchen. Ihre Studie ist auf der weltweit größten Konferenz für neuronale Netze unter mehr als 1800 eingereichten und mehr als 1000 akzeptierten Arbeiten als beste Publikation ausgezeichnet worden.
Herkömmliche KI-Systeme sind aus Einheiten aufgebaut, die grob an das Design von Nervenzellen angelehnt sind. Allerdings verwenden sie bei ihrer Arbeit kontinuierliche numerische Werte, während natürliche Nervenzellen zur Verarbeitung von Informationen binäre elektrische Impulse, die sogenannten Spikes, nutzen. Das macht die Tätigkeit des menschlichen Gehirns wesentlich effizienter, denn die Information ist nicht in der Stärke dieser Impulse, sondern in ihren zeitlichen Abständen kodiert.
KI braucht Vielfaches an Energie im Vergleich zum Gehirn
Die Spikes sind Millisekunden dauernde, immer gleich hohe Spannungsimpulse – die Information liegt in der Zeit zwischen dem Auftreten der Spikes. Bei KI-Systemen hingegen werden sehr große Matrizen mit reellen Zahlen multipliziert – die Information steckt in den exakten Werten, also den Aktivierungen der künstlichen Neuronen. Das verbraucht große Mengen an Energie. Zum Vergleich: Das Gehirn benötigt für die Informationsverarbeitung 20 Watt – die Energiemenge einer Glühbirne. Schon einfache Grafikprozessoren für KI-Anwendungen verbrauchen hingegen bereits mehrere hundert Watt.
Auch die Verbesserung der KI-Systeme erfordert sehr viel Energie und Hardware-Ressourcen. Denn die Systeme werden hauptsächlich durch die Erhöhung der Datenmenge, wie zum Beispiel durch Textsammlungen im Internet, trainiert. Die Anzahl der trainierbaren Parameter wird dabei ebenfalls immer weiter erhöht.
Die FAU-Wissenschaftler Schilling und Krauss, die an der Schnittstelle zwischen KI und Hirnforschung arbeiten, haben sich mit ihren Kollegen Gerum und Erpenbeck bei ihrer Arbeit auf eine spezielle Art künstlicher Nervenzellen konzentriert. Diese LSTM-Einheiten, kurz für Long Short-Term Memory, auf Deutsch: langes Kurzzeitgedächtnis, können sich an frühere Erfahrungen „erinnern“ und durch sogenannte Gates zum Vergessen gebracht werden, um nicht mehr benötigte Informationen aus dem System zu löschen.
Die Forscher haben die LSTM-Einheiten nun so verändert, dass sie sich bei der Informationsübertragung und -verarbeitung wie Gehirn-Nervenzellen verhalten, die Spikes nutzen. Sie nutzten die Eigenschaften der LSTM-Neuronen, um das Membranpotenzial – die Spannung – biologischer Zellen zu imitieren. Damit konnte das Eingangssignal, das von anderen Neuronen stammt, aufsummiert werden.
An Bildern getestet – Ergebnisse sehr vielversprechend
Die veränderten LSTM-Einheiten haben die FAU-Forscher an vier Bild-Datensätzen getestet, mit denen KI-Systeme trainiert werden. Sie wollten herausfinden, ob ihre LSTM-Einheiten genauso leistungsfähig sind wie bereits existierende künstliche Nervenzellen. Das Resultat: Auch die neuartigen LSTM-Einheiten erzielten ähnlich gute Ergebnisse. Geplant ist, die Algorithmen nun auf komplexere Daten wie Sprache und Musik anzuwenden.
Die Besonderheit der Arbeit der FAU-Forscher liegt darin, dass ihr Ansatz die Vorteile von KI und der Hirnforschung vereint. Ihre Erkenntnisse könnten den Weg ebnen, KI-Systeme zu entwickeln, die stärker wie das menschliche Gehirn arbeiten und rasch komplexe Aufgaben lösen – und das bei einem geringeren Verbrauch von Ressourcen.
Über den Best Paper Award
Die große Bedeutung der Arbeit von Schilling Krauss und den internationalen Kooperationspartnern ist auf der International Joint Conference on Neural Networks 2023 bei einer Konkurrenz von mehr als 1000 weiteren publizierten Arbeiten durch die Auszeichnung mit dem „Best Paper Award“ gewürdigt worden. Bei der Konferenz handelt sich um die weltweit größte Konferenz für künstliche neuronale Netze mit einem hochkarätigen Fachpublikum. Sie stellt die renommierteste Plattform für den Austausch von Ideen zwischen Wissenschaftlerinnen und Wissenschaftlern aus verschiedenen Bereichen künstlicher neuronaler Netze, Neuroinformatik und Neurotechnologie dar.
Weitere Informationen
Dr. Achim Schilling
Neurowissenschaftliches Labor der Hals-Nasen-Ohren-Klinik ‒ Kopf- und Halschirurgie am Universitätsklinikum Erlangen der FAU
Achim.Schilling@uk-erlangen.de