PAGE online

Synergy: Musikvisualisierung mit KI

Josefa Rackl entwickelte in TouchDesigner ein generatives Designsystem zur Visualisierung elek­tronischer Musik

KI-Musik-Daten visualisiertHochschule Augsburg. Eine Möglichkeit, Musik, generatives Design und KI besser zu verstehen und zu vermitteln, erforschte Josefa Rackl in ihrer Masterthesis »Synergy« im Studiengang Interaktive Mediensysteme. Sie entwickelte in TouchDesigner ein generatives Designsystem zur Visualisierung elek­tronischer Musik, das Daten aus der Musikkategorisierungs-KI Cyanite nutzt.

Mit ihr kann man Songs auswerten und die gewonnen Da­ten in TouchDesigner weiterverarbeiten. Ihr Visualisierungstool gestaltete Rackl zudem als interaktive Installation. »Ich wollte unter anderem herausfinden, ob man als Gestalter durch die Verwendung von KI bessere Designentscheidungen trifft und wo mögliche Fehlerquellen bei der Nutzung von KI liegen«, so Rackl.

Interface vom Synergy-Programm
Die einfache Handhabung des Interfaces lädt zum Ausprobieren und Begreifen des KI-basierten Designsystems ein

Elektro Ästhetik

Basierend auf Recherchen und Forschungen ent­stan­den ein Konzept, eine Kommunikationsstrategie für das Designsystem und eine User Journey für die Installation. Danach entwarf Rackl das Cor­po­rate Design für »Synergy« und experimentierte in TouchDesigner, um die Ästhetik der Visuals auszuloten und die Software besser kennenzulernen.

Sie entschied sich für vier Grundformen – »Trail«, »Geo­metry«, »Dust« und »Waves« –, die sie dann zu einem Designsystem ausbaute. Dieses setzt sich aus acht musikalischen Subgenres, 16 Ausdrucksformen wie »bold«, »magical«, »playful« oder »unpolish­ed«, dem Grad an emotionaler Energie sowie der Menge des Gesangs zusammen.

Dabei bestimmen die Subgenres den vi­suellen Stil, den »Synergy« ausgibt, die Ausdrucks­formen werden zu Farben, die emotio­nale Energie zum Bewegungsmuster, und die Kate­gorie Gesang wirkt sich auf die Formen­spra­che des Outputs aus. Je mehr Gesang, desto eher nimmt die Visualisierung Kreisformen an – je weniger, desto stärker erzeugt sie eher eckige, anorganische Formen.

Erst in der Umsetzung stieß Josefa Rackl nach und nach auf die Schwachstellen der KI. Unter ande­rem war es manchmal problematisch, Unterschiede in den Daten verschiedener Titel zu erkennen, und sie musste letztlich zwei Genres zu den Musikstücken selbst in TouchDesigner vorgeben, damit »Synergy« die für das System beabsichtigten Designentscheidungen treffen konnte.

Raumfüllende Projektion der Visualisierung
Musik und die raumfüllenden Projektionen der audioreaktiven Visualisierungen lassen Betrachter ganz in die Installation eintauchen. Je mehr Gesang, desto eher nimmt die Visualisierung die Form einer pulsierendsen Membran an – je weniger, desto kantiger sind die Formen Bild: beech studios

Zusammenhän­ge zwischen KI-Daten und Visuals

Für die interaktive Installation entwickelte Rackl ein Interface in der Server-Applikation Open Stage Control. Je nachdem, welches Genre und welchen Stil sich Nutzer:innen aussuchen, generiert TouchDesigner basierend auf den von Cyanite ermittelten Daten die Visuals.

Parallel dazu sendet es die Analysedaten zurück ans Interface. Hier werden sie dann grafisch dargestellt, sodass man die Zusammenhän­ge zwischen KI-Daten und Visuals er­kennen kann. »Design und Technik müssen Hand in Hand gehen, nur so können wir außergewöhnliche und leben­dige, interaktive Erlebnisse schaffen. Bei der Arbeit mit KI ist allerdings Vorsicht geboten – wir dürfen ihre Daten nie unreflektiert nutzen«, so Rackl.

 

Plakate für die Ausstellung des Synergy-Projektes
Die Plakate entstanden als Begleitmedien zu den projizierten Musik­visualisierungen und zum Tablet-Interface Bild: beech studios

Portrait Bild in schwarz weiß von Josefa Rackl Josefa Rackl will ihre Ideen selbst ver­wirklichen und ist deshalb immer hungrig nach neuen Technologien und Tools – seien sie noch so komplex. Für ihren Masterabschluss kooperierte sie mit dem Mannheimer KI-Start-up Cyanite.

Bereits 2022 entwickelte Rackl die intuitiv bedienbare Website Perspectives, die einen vertiefenden Überblick über die Anforderungen an inklusives Webdesign bietet. Hier geht es zum Beitrag über Perpectives.

 

 

 

 

 

Produkt: Download PAGE EXTRA 04.2024: Ausbildung, Weiterbildung, Studium
Download PAGE EXTRA 04.2024: Ausbildung, Weiterbildung, Studium
Interdisziplinär & spezialisiert: In dem kostenlosen Booklet informieren (Fach-) Hochschulen, Akademien und Seminaranbieter über ihr aktuelles Programm zu Studiengängen, Aus- und Weiterbildungen in Design, Werbung und Medien.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Das könnte dich auch interessieren