Klangmuster

Meinard Müller erforscht mit Hilfe Modell und KI-basierter Verfahren die Erkennung von Klangmustern

Kennen Sie das: Ihnen geht seit Tagen eine Melodie durch den Kopf, und Sie kommen einfach nicht darauf, welches Lied es ist? Oder Sie suchen ein Stück, dass Ihrem Lieblingssong ähnelt? Mit verschiedenen Apps lässt sich der gesuchte Song mittlerweile leicht finden. Dahinter steckt komplexe Wissenschaft – und trotz Künstlicher Intelligenz (KI) immer noch jede Menge Arbeit.

Musik als komplexe Domäne

Diese schwere Arbeit leisten die Wissenschaftlerinnen und Wissenschaftler an den International Audio Laboratories Erlangen, einer gemeinsamen Einrichtung der FAU und des Fraunhofer-Instituts für Integrierte Schaltungen IIS. Die Forschungsteams beschäftigen sich unter anderem mit Sprach- und Audiocodierung, semantischer Audiosignalverarbeitung oder Audiosignalanalyse. Meinard Müller, Professor für Semantische Audiosignalverarbeitung, interessiert sich vor allem für die Muster hinter der Musik und deren computerbasierte Analyse.

„Was Google für Texte und Bilder macht, also Ähnlichkeitsmuster vergleichen, machen wir für Musik“, fasst er seine Forschung zusammen. Eines seiner Ziele ist die Entwicklung von Algorithmen zur Suche von Musikstücken, die beispielsweise die gleichen Instrumente verwenden, ein ähnliches Tempo haben oder aus derselben Epoche stammen.

Die digital vorliegende Musik ist allerdings ein schwieriger Datentyp: Die Notenzeichen verbergen sich hinter Tönen in Form von Luftdruckschwankungen. Außerdem variieren Instrumente sowie Gesangsstimmen, und zudem interpretieren verschiedene Musikerinnen und Musiker dasselbe Stück unterschiedlich.

Algorithmus und Notenlesen

Etwas, das dem Menschen leichtfällt, nämlich einzelne Instrumente zu unterscheiden oder das Stück einem Genre zuzuordnen, soll also maschinell funktionieren.

Früher geschah dies in zwei Schritten. Zuerst galt es, bestimmte melodische oder harmonische Muster zu identifizieren. Ein Beispiel hierfür sind Beats, die rhythmisch in Beziehung zueinander stehen und die auch der Mensch erkennt und etwa durch Fußwippen mitzählt. Dies wiederum kann auch maschinell geschehen und stellte den zweiten Schritt dar, die sogenannte Klassifikation. Am Ende entstand ein Modell, durch das die Musik interpretiert werden konnte.

Beim maschinellen Lernen sind beide Arbeitsschritte zu einem zusammengelegt. Damit der Algorithmus das bewerkstelligen kann, muss er erst einmal lernen, die Musik richtig zu analysieren. Hierzu werden ihm Millionen kurze Musiksequenzen, von denen zum Beispiel die Zahl der Beats pro Minute bekannt ist, zur Verfügung gestellt. Irgendwann ist der Algorithmus in der Lage, auch die Zahl der Beats pro Minute bei unbekannten Stücken zu bestimmen.

Diese Vorgehensweise macht die Entwicklung automatischer Analysen jedoch nicht einfacher: „Die Arbeit, die wir früher in die Modellentwicklung gesteckt haben, stecken wir nun in die Aufbereitung der Trainingsdaten“, sagt Prof. Müller.

Die Methode des Deep Learning birgt eine weitere Herausforderung. Bei solch einem Algorithmus handelt es sich oft um eine Black Box: Manchmal gibt es Schwierigkeiten, den Grund für offenkundig falsche Ergebnisse herauszufinden. Deshalb verschmilzt Prof. Müller verschiedene Methoden, um herauszufinden, auf Grundlage welcher akustischen und musikalischen Signaleigenschaften der Algorithmus zu seinem Ergebnis gekommen ist.

„Modell und KI-basierte Verfahren können integriert und kombiniert werden“, sagt der Wissenschaftler. „Das gibt einem ein Gefühl dafür, was der Algorithmus eigentlich lernt.“ Hierbei geht es ihm um ganz grundsätzliche Erkenntnisse bei der Erkennung von Mustern, wobei sich die Musik aufgrund ihrer Vielschichtigkeit bestens für die Erprobung der von ihm erforschten Methoden eignet.

Vergängliche Kultur bewahren

Solche Methoden zu entwickeln ist beispielsweise wichtig, um Nutzerinnen und Nutzern von Musikstreamingdiensten die Suche nach geeigneten Titeln zu erleichtern. In Verbindung mit den klassischen Musikwissenschaften ergeben sich interdisziplinäre Ansätze. So schafft ein Algorithmus die Möglichkeit, einen sehr langen Opernzyklus wie Wagners „Ring des Nibelungen“ nach wiederkehrende musikalischen Leitmotiven zu durchsuchen.

In einem Projekt arbeitet Prof. Müller mit Musikwissenschaftlerinnen und -wissenschaftlern zusammen, die sich mit dreistimmigem Gesang aus Georgien beschäftigen. Dieser Gesang gehört zum UNESCO-Weltkulturerbe, wird nur mündlich überliefert und ist daher vom Vergessen bedroht. Gemeinsam mit Musikethnologinnen und Musikethnologen untersucht Müller Aufnahmen dieser Gesänge auf ihren Tonvorrat, also alle harmonisch möglichen Töne, und die Interaktion zwischen den einzelnen Singenden, womit er auch einen Beitrag zu den Digitalen Geisteswissenschaften leistet. Einfach ist dies allerdings nicht, denn die georgische Musik lässt sich nicht über die in Mitteleuropa verbreiteten zwölftonigen Skalenmodelle erfassen, weshalb er seine Methoden erst anpassen muss.

Die Algorithmen und das Team um Meinard Müller lernen also nie aus.

alexander – Aktuelles aus der FAU