Nachwuchs: 36 Wege, KI zu zähmen

HTWG Konstanz. Fast täglich erscheinen neue KI-Tools und alle haben ihre Eigenheiten – da findet man sich kaum noch zurecht. Kommunikationsdesignabsolvent Luis Hofstetter ließ sich von der rasanten Entwicklung aber nicht abschrecken und startete in seiner Bachelorarbeit einen strukturierten Versuch, Workflows mit KI zu testen.

Dabei ließ er sich von der »36 Days of Type«-Challenge und seinem Interesse am Lettering inspirieren und setzte sich zum Ziel, ein ganzes Alphabet mithilfe verschiedener KI-Tools zu erstellen. »Ich wollte KI entmysti­fizieren«, sagt er. »Denn um in Zukunft wettbewerbsfähig zu bleiben, müssen Kreative sich mit der neuen Technik auseinandersetzen und ihre Prozesse entsprechend anpassen.«

»Um in Zukunft wettbewerbsfähig zu bleiben, müssen Kreative sich mit der neuen Technik auseinandersetzen und ihre Prozesse entsprechend anpassen«

Mit Creative AI experimentieren

Für jede Glyphe formulierte er deshalb zunächst eine spe­zielle Frage. Darunter technisch orientierte wie »Welche Bilder werden mit dem gleichen Prompt in verschiedenen Systemen generiert?« sowie Fragen zum Kreativprozess: »Können KI-generierte Buchstaben als Ausgangspunkt für manuell verfeinerte Schriften dienen?« Um sie zu beantworten, wählte er immer mindestens ein KI-Tool aus und testete so zum Beispiel Stable Diffusion in Kombination mit ControlNet und Deforum, Adobe Firefly, Midjourney oder Runway.

Den Input für seine Experimente generierte Hofstetter mal mit einem Text-Prompt, mal erstellte Scribbles von Hand, die er anschließend vektorisierte. Zum Einsatz kamen auch Fotos von analog geformten Buchstaben – darunter Cornflakes, Spitzerreste oder Acrylfarbe.

Workflows: von analog bis programmiert

Für jeden Buchstaben experimentierte er meist mit mehreren Varianten des Inputs in je drei Testläufen, bei denen er verschiedene Prompts und Einstellungen in den Modellen verwendete. Dabei entwickelte er nicht nur selbst Prompts, sondern instruierte auch ChatGPT, Befehle in der passenden Form für verschiedene KI-Tools zu liefern. Seinen Prozess und seine Learnings dokumentierte er in einem zentralen Google Sheet, das als Grundlage für die Website diente, auf der alle seine Experimente klar aufbereitet sind.

Beeindruckend sind dabei nicht nur die verschiedenen statischen und animierten Ergebnisse, sondern auch die Vielfalt der Skizzen, Animationen, 3D-Renderings, Fotos und sogar Pro­cessing-Codes die Hofstetter gestaltete. Kein Wunder, dass aus diesem Input eine ganze Reihe spannender Buchstabenvarianten entstand, die Hofstetter zum Abschluss seines Projektes in kurzen Animationen mittels KI ineinandermorphen ließ. So können wir nicht nur einen finalen Buchstaben bewundern, sondern uns von seinem gesamten Output zu eigenen Experimenten anregen lassen.

Luis Hofstetter hatte bereits eine Mediengestalterausbildung und mehrere Jahre Berufserfahrung hinter sich, als er sich für das Kommunikationsdesignstudium an der HTWG Konstanz entschied. Seine Projektdokumentation schickte er uns noch aus dem wohlverdienten Motorradurlaub in Slowenien. Jetzt ist er aber wieder im Lande und offen für neue Projekte und Experimente. 

Experiment In Midjourney und Dall·E 2 erzeugte Luis Hofstetter mit einem zuvor erarbeiteten und getesteten Prompt Buchstabenformen. Vielversprechende Ansätze kombinierte er anschließend per Image Blending und verfeinerte und vektorisierte sie in Adobe Illustrator.

Learning Midjourney und Dall·E 2 haben oft Schwierigkeiten, Buchstaben zu generieren. Einige Ergebnisse sind allerdings eine gute Inspirationsquelle für neue Formen.

Experiment Mehrere von Hand gezeichnete und vektorisierte Lettern wurden in drei verschiedene ControlNet Preprocessors
in Stable Diffusion geladen und mit demselben Prompt und denselben Einstellungen bearbeitet, um Unterschiede bei der Generierung eines spezifischen Stils feststellen zu können.

Learning Verschiedene ControlNet Preprocessors in Stable Diffusion und der Detailgrad des Inputs beeinflussen, wie der gewünschte Stil umgesetzt wird.

Experiment Ein bearbeitetes Foto des Buchstabens aus Bleistiftspitzerresten wurde in ControlNet mit variierender Anzahl von SamplingSteps, aber identischem Prompt stilisiert.

Learning Je mehr Sampling Steps (Iterationen), desto höher die Qualität des Outputs – und desto länger die Rechenzeit.

Experiment Einen Buchstaben ließ Luis Hofstetter in ControlNet mit einem Script bearbeiten, das automatisch neue Parameter für Farbkominationen erzeugen soll.

Learning Grundsätzliche Farbänderungen kann man gut per Script generieren, feinere Abstufungen sind allerdings nicht möglich.

Experiment Ein Video des Müsli-Buchstabens wurde als Einzelbilder in ControlNet geladen und mit den Erweiterungen TemporalKit und EbSynth bearbeitet, um einen konsistenten Animationsstil zu erzeugen.

Learning Der komplexe Workflow ist fehleranfällig. Erst nach einigen Versuchen lassen sich weitgehend flickerfreie Animationen erzeugen.