RunwayML-Tutorial: Gestalten mit KI

Sogar der Papst hat sich kürzlich zum Thema geäußert – künstliche Intelligenz ist nun wirklich in aller Munde. KI wird längst in Wirtschaft, Industrie, Medizin, Wissenschaft und natürlich auch im di­gitalen Alltag eingesetzt. Als Designer müssen wir mit der Materie vertraut sein, um potenzielle Use Cases erkennen und gestalten zu können. Und natürlich stellt sich auch die Frage, wie KI unseren Beruf verändern wird. Bislang drehen sich die meis­ten Szenarios in irgendeiner Form um die Automatisierung von Designtätigkeiten. Interessanter ist aber womöglich, zu fragen, welche Rolle KI für Gestaltung an sich spielen könnte. (Die Antwort habe ich natürlich nicht.)

Anmerkung der Redaktion: Das Geschäftsmodell von RunwayML hat sich in Richtung Video-Editing verschoben. Über den Tab »ML Lab« hat man aber noch Zugriff auf diverse Machine-Learning-Modelle.

KI ist inspirierend seltsam

Dass die Fähigkeiten von KI (noch) stark eingeschränkt sind, sollte Designer nicht davon abhalten, selbst damit zu experimentieren. Im Gegenteil! Die Schwächen der Technik machen für mich die größte Faszination aus. Denn gerade, wenn ein Machine-Learning-Programm (Model genannt) noch nicht so richtig funktioniert, erweisen sich die Ergebnisse oft als inspirierend seltsam. So kann KI unsere Kreativität direkt beeinflussen. Ungebremst von gesundem Menschenverstand und Physik ge­nerieren künstli­che neuronale Netze die wildesten Ergebnisse (siehe zum Beispiel Fotos oben).

Nein, wir können nicht automatisch alle Fotos für die ganze PAGE-Ausgabe generieren. Aber die pixeligen, surrealen Bildchen, die beim Versuch ent­stehen, könnten die Inspirationsgeber für ein neues Bildkonzept sein. KI kann helfen, unkonventionell zu denken. Wir sollten die Technologie nutzen, um unsere eigene Kreativität zu stimulieren, nicht um sie zu ersetzen.

Step-by-Step: Experimentieren mit RunwayML

In diesem Tutorial werden wir ausprobieren, wie wir KI als Inspiration für unsere Kreativität nutzen können. Dazu nutzen wir RunwayML, eine Desktop-­Software, die es einfach macht, Machine-Learning-Programme ohne jegliche Programmierkenntnisse auszuprobieren. Das Start-up Runway AI wurde 2018 von drei Studenten in Brooklyn gegründet mit dem Ziel, künstliche Intelligenz für Kreative zugänglich zu machen.
RunwayML enthält eine Art App-Store für Machine-Learning-Modelle. Aus einer Liste verfügba­rer Anwendungen können wir Modelle zur Sprach- und Gesichtserkennung, zur Text- und Bildgenerierung und für viele weitere Funktionen herunterladen. Diese ML-Modelle sind schon länger open source verfügbar, RunwayML aber ermöglicht erstmals die Nutzung ohne Programmierkenntnisse.

Zudem bie­tet die Software viele weitere Features, etwa das Training und die Verkettung von Modellen über ein grafisches Interface. Das vielleicht beste Feature ist, dass man Models gegen eine geringe Gebühr direkt auf Runway-AI-Servern ausführen kann. Musste man sich zuvor eine leistungsstarke Grafikkarte zulegen, kann man KI nun vom Laptop aus nutzen. Das Tool ist experimentelle Beta-Software, eignet sich aber gut, um sich mit der Technik vertraut zu machen. Worauf warten wir noch?

1. RunwayML installieren und Models durchforsten

Als Erstes laden wir die kostenfreie Runway ­ML-Beta mit Klick auf den grünen Download-­Button unter   https://runwayml.com  herunter. Nach der Installation erstellen wir einen User-Account, bestätigen unsere E-Mail-Adresse und kön­nen loslegen. Auf dem Willkommens-Screen wählen wir aus drei Optionen die Kategorie »Browse Models«. Wir gelangen zu einer Art App-Store: einer Liste von Machine-Learning-Modellen, die wir downloaden und benutzen können. Die Liste umfasst Models, die beispielsweise Gesichter erkennen, Texte generieren oder Fotos in Zeichnungen oder Pferde in ­Zebras verwandeln. Viele von ihnen stellt Runway ­ML selbst bereit, andere wurden von der User-Community hinzugefügt. Fortgeschrittene Nutzer haben in RunwayML auch erstmals die Möglichkeit, selbst Models zu trainieren – also Dateien der Programme mithilfe von Algorithmen dazu befähigen, Muster in Daten zu erkennen.

2. Model auswählen und Workspace einrichten

Jedes Model hat einen mehr oder weniger kryptischen Namen und ein Vorschaubild mit Beschreibung. Über die Suchfunktion oberhalb der Liste suchen wir nach im2txt, einem Model, das Textbeschreibungen für Bilder generiert. Mit Klick auf die Kachel fügen wir es zu einem Work­space hinzu. Workspaces nennt sich in Runway­ML, was andere Programme Projekt oder Dokument nennen. Weil dies unser erster Workspace ist, fragt ein Pop-up-Fenster nach einem Namen. Wir tippen »PAGE« und klicken auf »Create«.

3. Bild-Input auswählen

Der Workspace-Screen teilt sich in drei Spalten. Links werden alle Models aufgelistet, die wir zu unserem Workspace hinzugefügt haben – in unserem Fall im2txt. Nun legen wir fest, welches Bild im2txt beschreiben soll. Dazu wählen wir in der Mittelspalte mit dem Drop-down-Menü unter »Choose Input Source« eine Eingabequelle aus. »File« möchte eine Bilddatei, wer eine Webcam hat, kann »Camera« wählen, da im2txt auch mit Bewegtbild funktioniert.

4. Model starten

Die rechte Spalte des Workspace-Screens beherbergt verschiedene Model-spezifische Einstellungen, mit denen wir uns erst einmal nicht befassen müssen. Mit einem Klick auf »Run Remotely« aktivieren wir das Model. Dies kann etwas dauern, denn wir starten das Model nicht direkt auf unserem Computer, sondern auf ­einem leistungsstarken RunwayML-Server in der Cloud. Der Grund: Machine-Learning-Modelle sind sehr leistungshungrig und laufen daher auf einem normalen Laptop oder älteren PC nur sehr langsam. Gerade zum Ausprobieren ist die Remote-­Option daher sehr praktisch.

Der Haken: Diese Funktion ist nicht gratis, sondern kostet 5 Cent pro Minute. Jeder RunwayML-Account enthält 10 US-Dollar Testguthaben. Zudem gibt es die Option, Models kostenfrei auf dem eigenen Computer zu installieren. Dazu braucht man das Containervirtualisierungstool Docker, das man sich wahlweise über einen ­Button in den RunwayML-Einstellungen oder aus dem Netz herunterlädt. Nach der Installation kann man in RunwayML mit einem Klick auf »Show Advanced Options« über »Run Location« die Auswahl »Local« treffen.

5. Ergebnisse begutachten

Sobald das Model gestartet ist, zeigt RunwayML im Output-Fenster eine frisch ge­ne­­rier­te Textbeschreibung des eingespeisten Bilds an, wer ein Webcam-Bild einspeist, sieht, dass sich die Bildbeschreibung ständig ändert. Wir können nun ausprobieren, was das Model erkennt und was nicht: Mein Wasserglas wird erkannt, jedoch als Wein­glas beschrieben. Was womöglich banal erscheint, ist tatsächlich der aktuellste KI-Fortschritt: Das Model kommt zwar nicht an menschliche Fähigkeiten heran, aber bis vor ein paar Jahren war eine solche Beschreibung technisch noch unmöglich – und vor RunwayML definitiv nicht für Laien benutzbar.

Wie man sieht, ist RunwayML kein Generalwerkzeug wie zum Beispiel Adobe Photoshop. Das Programm eignet sich aktuell hauptsächlich für Experimente wie unseres oder als Zwischenschritt in einer Kette von Tools. Beispielsweise bietet RunwayML ­Integrationen für Adobe Photoshop und Unity an. Und wer ein bisschen programmieren kann, findet in der rechten Spalte unter dem Tab »Network« eine Reihe von Programmierschnittstellen (etwa HTTP, Socket, OSC, JavaScript et cetera), über die wir Bilder an das Model schicken sowie Beschreibungen empfangen können.

6. Zweites Model auswählen und hinzufügen

Als Nächstes werden wir die Bildbeschreibung, die wir per im2txt generiert haben, als Input für ein weiteres Model verwenden. Am linken Fensterrand finden wir das Hauptmenü und gelangen über das Boxsymbol zurück zur Model-­Liste. Hier könnten wir jedes Model verwenden, das Text-Input akzeptiert. Über das Suchfeld finden wir die AttnGAN-Kachel mit der Beschreibung »Text to image generation«. Das Model wandelt einen Eingabetext in ein selbst generiertes Bild um. Mit einem Klick auf die Kachel fügen wir das Model zu unserem Workspace hinzu.

7. Models miteinander verknüpfen

Zurück auf dem Workspace-Screen, sehen wir nun links beide Models aufgelistet. Durch Klick auf den Namen können wir zwischen den jeweiligen Model-Einstellungen wechseln. Für AttnGAN sind zwei neue Input-Auswahlmöglichkeiten hinzugekommen. Unter »Text« könnten wir selbst Eingaben tippen, und über »File« lässt sich eine Textdatei laden. Wir wählen die dritte Option: im2txt. Nun wird der Output des ersten Models automatisch als Input für AttnGAN verwendet.

8. Beide Models starten

Probieren wir’s aus! Wir klicken in der Liste auf im2txt und starten über »Run Remo­te­ly« das Model. Sobald es läuft, wechseln wir zurück zu AttnGAN und starten es ebenfalls. Die Models sind verkettet: Im2txt generiert Beschreibungstexte für unser Webcam-Bild und gibt diese an AttnGAN weiter. AttnGAN generiert anhand der Beschreibung dann ein neues Bild.

9. Verschiedene Bilder ausprobieren

Wer einen Laptop besitzt, sollte das Gerät einmal ausstöpseln und verschiedene Motive im Büro oder zu Hause ausprobieren. Als ich meinen Computer aus dem Fenster halte, bekomme ich die Beschreibung »a large building with a clock on the side of it« und dazu dieses Bild. Über den blauen Download-Button im Output-Fens­ter können wir das Bild speichern. Nun unbedingt beide Models wieder stoppen, da sonst unser Guthaben weiterhin belastet wird. Fertig.

RunwayML-Fazit: Faszinierende Glitches

Wer auf fotorealistische Ergebnisse gehofft hat, wird enttäuscht. Die generierten Bilder sind nicht nur niedrig aufgelöst, sondern auch noch alles andere als realistisch. AttnGAN kann uns nicht die passen­den Fotos für den Kundenauftrag generieren. Manch einer schiebt das Bild samt RunwayML erleichtert in den Papierkorb. Aber sehen wir einmal genauer hin. Das Bild zeigt eine Stadtszene, deren Architektur sich keinem Baustil so richtig zuordnen lässt. Die Abbildung ist so grafisch, dass ich mir die Szene aus­malen kann, gibt aber meiner Kreativität viel Freiraum. Die niedrige Auflösung wird nun zum Vorteil. Ich stelle mir die Gebäude vor, ihre Materialien, Farbkombinationen und Räume, ihren Zweck. Womöglich wächst hieraus die Idee für eine Fotokampagne, für ein Layout oder für ein Farbschema.

Ein Beispiel: In einem Experiment habe ich mit einem ähnlichen Ansatz per KI Bilder von Stühlen generiert. In Zusammenarbeit mit den beiden Produktdesignern Steffen Weiß und Mikkel Mikkelsen haben wir die abstrakten Entwürfe in Echtgröße um­gesetzt. Als Sitzmöbel sind die meisten untauglich. Aber für alle Beteiligten waren die unkonventionellen Herausfor­derungen, die die künstliche Intelligenz an uns stellte, sehr inspi­rierend für unsere Arbeit generell – eine Einladung zum Umdenken.

Auch die schwedische Modemarke ACNE Studios und der Künstler Robbie Barrat haben KI auf ähnli­che Weise für den Entwurf einer neuen Kollektion genutzt. Der Kreativdirektor des Modehauses nann­te künstliche Intelligenz gar ein »befreiendes kreati­ves Werkzeug«. Maschinelles Lernen ist demnach kein Ende der Kreativität, sondern ein neuer Anfang.

Philipp Schmitt arbeitet an der Schnittstelle von Kunst, Design und Wissenschaft. In seinen Projekten untersucht er politische, poetische und philosophische Dimensionen künstlicher Intelligenz. Nach einem Bachelorabschluss in Interaktionsgestaltung an der HfG Schwäbisch Gmünd machte er einen Master in Design and Technology an der Parsons School of Design in New York, wo er auch lebt.

TIPP: Als PAGE+-Leser können Sie sich den Artikel als PDF im Print-Layout ansehen. Dafür einfach die Ausgabe 06.2020 downloaden.

PDF-Download: PAGE 06.2020

Produkt-Details anzeigen

Komplexität annehmen und gestalten ++ Visual Trend: Maximalismus ++ Interface Design zwischen Purismus und Rich UX ++ Die perfekte Infografik ++ TDC 2020 ++ RunwayML-Tutorial: Gestalten mit KI ++ VR Experience ++ Corona und die Kreativbranche ++ EXTRA: Agentursoftware

8,80 €

AGB