Synergy: Musikvisualisierung mit KI

Hochschule Augsburg. Eine Möglichkeit, Musik, generatives Design und KI besser zu verstehen und zu vermitteln, erforschte Josefa Rackl in ihrer Masterthesis »Synergy« im Studiengang Interaktive Mediensysteme. Sie entwickelte in TouchDesigner ein generatives Designsystem zur Visualisierung elek­tronischer Musik, das Daten aus der Musikkategorisierungs-KI Cyanite nutzt.

Mit ihr kann man Songs auswerten und die gewonnen Da­ten in TouchDesigner weiterverarbeiten. Ihr Visualisierungstool gestaltete Rackl zudem als interaktive Installation. »Ich wollte unter anderem herausfinden, ob man als Gestalter durch die Verwendung von KI bessere Designentscheidungen trifft und wo mögliche Fehlerquellen bei der Nutzung von KI liegen«, so Rackl.

Elektro Ästhetik

Basierend auf Recherchen und Forschungen ent­stan­den ein Konzept, eine Kommunikationsstrategie für das Designsystem und eine User Journey für die Installation. Danach entwarf Rackl das Cor­po­rate Design für »Synergy« und experimentierte in TouchDesigner, um die Ästhetik der Visuals auszuloten und die Software besser kennenzulernen.

Sie entschied sich für vier Grundformen – »Trail«, »Geo­metry«, »Dust« und »Waves« –, die sie dann zu einem Designsystem ausbaute. Dieses setzt sich aus acht musikalischen Subgenres, 16 Ausdrucksformen wie »bold«, »magical«, »playful« oder »unpolish­ed«, dem Grad an emotionaler Energie sowie der Menge des Gesangs zusammen.

Dabei bestimmen die Subgenres den vi­suellen Stil, den »Synergy« ausgibt, die Ausdrucks­formen werden zu Farben, die emotio­nale Energie zum Bewegungsmuster, und die Kate­gorie Gesang wirkt sich auf die Formen­spra­che des Outputs aus. Je mehr Gesang, desto eher nimmt die Visualisierung Kreisformen an – je weniger, desto stärker erzeugt sie eher eckige, anorganische Formen.

Erst in der Umsetzung stieß Josefa Rackl nach und nach auf die Schwachstellen der KI. Unter ande­rem war es manchmal problematisch, Unterschiede in den Daten verschiedener Titel zu erkennen, und sie musste letztlich zwei Genres zu den Musikstücken selbst in TouchDesigner vorgeben, damit »Synergy« die für das System beabsichtigten Designentscheidungen treffen konnte.

Zusammenhän­ge zwischen KI-Daten und Visuals

Für die interaktive Installation entwickelte Rackl ein Interface in der Server-Applikation Open Stage Control. Je nachdem, welches Genre und welchen Stil sich Nutzer:innen aussuchen, generiert TouchDesigner basierend auf den von Cyanite ermittelten Daten die Visuals.

Parallel dazu sendet es die Analysedaten zurück ans Interface. Hier werden sie dann grafisch dargestellt, sodass man die Zusammenhän­ge zwischen KI-Daten und Visuals er­kennen kann. »Design und Technik müssen Hand in Hand gehen, nur so können wir außergewöhnliche und leben­dige, interaktive Erlebnisse schaffen. Bei der Arbeit mit KI ist allerdings Vorsicht geboten – wir dürfen ihre Daten nie unreflektiert nutzen«, so Rackl.

 

Josefa Rackl will ihre Ideen selbst ver­wirklichen und ist deshalb immer hungrig nach neuen Technologien und Tools – seien sie noch so komplex. Für ihren Masterabschluss kooperierte sie mit dem Mannheimer KI-Start-up Cyanite.

Bereits 2022 entwickelte Rackl die intuitiv bedienbare Website Perspectives, die einen vertiefenden Überblick über die Anforderungen an inklusives Webdesign bietet. Hier geht es zum Beitrag über Perpectives.