Musikinformatiker der FAU erhält DFG-Förderung von 1,25 Millionen Euro

Musik trifft Informatik: Das eine nutzen, um das andere zu verstehen

Musik und Informatik haben nichts miteinander zu tun? Prof. Dr. Meinard Müller sieht das anders: Mit Instrumenten der künstlichen Intelligenz will der Forscher komplexe Merkmale und verborgene Beziehungen in der Musik entschlüsseln.

Müller ist Experte für semantische Audiosignalverarbeitung an der FAU und widmet sich der Analyse bedeutender Musikkorpora ebenso wie der Entwicklung von Apps zur Musikerkennung.

Um seiner Arbeit einen größeren Freiraum zu geben, fördert ihn die Deutsche Forschungsgemeinschaft (DFG) im Rahmen des Reinhart Koselleck-Programms mit 1,25 Millionen Euro.

Verarbeitung von Musikdaten als eigenständiges Gebiet der Informatik

Meinard Müller greift gern in die Tasten. Etwa, wenn er Schubert, Liszt und Chopin am Klavier spielt. Oder auf der Computertastatur an einem neuen Algorithmus schreibt, der die Analyse klassischer Musikstücke erleichtern soll. Musik und Informatik sind für Müller keine voneinander getrennten Welten, im Gegenteil: „Meine Idee ist, das eine zu nutzen, um das jeweils andere besser zu verstehen“, sagt er.

Seit 2012 ist Meinard Müller Professor für Semantische Audiosignalverarbeitung an den International Audio Laboratories Erlangen, kurz AudioLabs. AudioLabs ist ein Gemeinschaftsprojekt der FAU und des Fraunhofer-Instituts für Integrierte Schaltungen IIS – jener Einrichtung, an der das legendäre MP3-Format entwickelt wurde.

„Die Art, wie Musik präsentiert, genutzt, verbreitet und gespeichert wird, hat sich in den vergangenen Jahren rasant weiterentwickelt“, erklärt Müller. „Entsprechend groß ist das Interesse an Technologien und Werkzeugen, mit denen wir musikbezogene Daten verwalten.“ Mit seiner Arbeit hat der Informatiker selbst einen entscheidenden Beitrag dazu geleistet, das Music Information Retrieval (MIR) zu einem eigenständigen Forschungsgebiet zu entwickeln.

Seine frühe Begeisterung für Musik und Informatik waren dabei sicherlich sehr hilfreich: Mit sechs Jahren spielte Meinard Müller bereits klassische Stücke auf dem Klavier und ist sowohl dem Instrument als auch der Musikrichtung treu geblieben, „auch wenn es für eine Karriere als Musiker nicht gereicht hat“.

Später, noch vor dem Abitur, eignete er sich Grundkenntnisse im Programmieren an. Als Hauptfach an der Universität Bonn wählte Müller jedoch Mathematik, „das perfekte Training für meine jetzige Arbeit“, wie er erklärt.

Die Informatik, zunächst Nebenfach, wurde während der Promotion zum Schwerpunktthema und prägte fortan seine akademische Laufbahn. Nach einem Aufenthalt als Postdoktorand an der Keio-Universität Tokio widmete sich Müller der Signal- und Musikverarbeitung und besonders digitalen Musikbibliotheken. Über eine Forschungsstelle am Max-Planck-Institut für Informatik in Saarbrücken führte sein Weg schließlich nach Erlangen.

Deep Learning macht verborgene Zusammenhänge sichtbar

Seiner aktuellen Forschungsarbeit hat Meinard Müller den Namen LEARN gegeben. Der Name ist Programm und dient als Klammer für verschiedene Perspektiven: Erstens spielt er auf Deep-Learning-Technologien an, die komplexe Merkmale und verborgene Beziehungen direkt aus Musiksignalen extrahieren sollen.

Wie bei der Analyse von Bilddaten auch geht es hier um Mustererkennung – um Tonhöhen, Akkorde und Rhythmus, aber auch um die Gesangstexte. Das mündet zum Beispiel in Algorithmen, die in der Lage sind, anhand einer vorgesummten Melodie das richtige Lied zu finden oder Vorschläge für Songs mit ähnlichem Rhythmus zu machen.

An der Entwicklung solcher Apps ist Meinard Müller beteiligt. „Deep Learning hat zu gewaltigen Verbesserungen der Musikdatenanalyse geführt“, sagt er. „Wir sind heute in der Lage, die Quellen mehrspuriger Musikaufnahmen, etwa Gesang, Begleitung, Schlagzeug oder Bass, im Detail zu entschlüsseln.“

Zweitens will Müller auch einen Beitrag zu den Digital Humanities leisten und wissenschaftlich oder kulturell relevante Musikkorpora analysieren. „Schauen Sie sich Wagners ‚Ring des Nibelungen‘ an – das sind sechzehn Stunden Musik. Wenn man da harmonisch-strukturelle Bezüge herausarbeiten will, kommt man mit dem Betrachten von Notenblättern nicht weit.“

In solchen Projekten arbeitetet der Informatiker eng mit Musikwissenschaftler/-innen zusammen, eine Kooperation, von der alle profitieren, wie Müller betont: „Die gegenseitigen Rückmeldungen führen zu Fortschritten in beiden Disziplinen. Die Algorithmen decken neue Zusammenhänge auf, nicht nur innerhalb der Stücke, sondern auch im Vergleich mit Werken anderer Komponisten und sogar verschiedener Epochen. Die Musikwissenschaftler/-innen wiederum können uns sagen, ob die entdeckten Bezüge nur Artefakte der künstlichen Intelligenz oder tatsächlich relevant sind.“

Musik erleichtert Zugang zu Mathematik, Physik und Informatik

Die dritte Perspektive von LEARN beinhaltet Rückkopplungen, die der Weiterentwicklung des maschinellen Lernens an sich dienen: Müller nutzt Algorithmen des Deep Learning zur Analyse von Musik, zugleich kann die Verarbeitung von Musikdaten neue Impulse für die KI ganz allgemein geben.

„Musik ist großartig, aber eben nicht trivial“, sagt Müller. „Wir haben es hier mit einer breiten Palette von Datentypen, Formaten, Tags und Metadaten zu tun.“ Um die Fülle dieser verschiedenen Arten von Informationen algorithmisch zu nutzen, wollen die Informatiker/-innen der AudioLabs neue Modelle entwickeln, die weniger anfällig für Ungleichgewichte und Störfaktoren sind. Müller: „Ich kann mir gut vorstellen, dass unsere Erkenntnisse die KI insgesamt voranbringen.“

Und viertens schließlich geht es Meinard Müller um das Lernen im Sinne der Wissensvermittlung: „Hinter jedem Ton verbergen sich physikalische Parameter – Frequenzen, Amplituden, Klangfarbe. Musik kann also ein motivierendes Medium sein, um junge Menschen an die grundlegenden Prinzipien von Physik, Mathematik, Informatik und Ingenieurwissenschaften heranzuführen.“

Im Rahmen seiner Lehrtätigkeit an der FAU ist Müller bestrebt, interaktive und herausfordernde Forschungsprojekte für Studierende und Promovenden anzustoßen. Dabei bekommt er häufig selbst neue Impulse: „Musikformate, Tools, Programmiersprachen – all das ändert sich ständig, und manchmal sind es meine Studentinnen und Studenten, die mich auf den neusten Stand bringen.“

Was beide Seiten eint, ist das Interesse sowohl für die Informatik als auch für die Musik – die meisten Studierenden spielen ein oder mehrere Instrumente. Müller: „Man kann ohne Übertreibung sagen, dass wir bei unserer Arbeit riesigen Spaß haben, weil wir unsere Daten lieben.“

Weitere Informationen

Prof. Dr. Meinard Müller
Lehrstuhl für Semantische Audiosignalverarbeitung
International Audio Laboratories Erlangen (AudioLabs)
Tel.: 09131/85-20504
meinard.mueller@audiolabs-erlangen.de