Ausprobiert: Animatic mit Midjourney und Pika AI
Wir testen, wie sich einfache Styleframes per KI in ein animiertes Storyboard verwandeln lassen – und wann Handarbeit gefragt ist
Bevor wir aber mit KI starten, müssen wir zunächst eine Storyline entwickeln und Szenen für unsere Styleframes festlegen. Anschließend definieren wir beim Prompten des ersten Bildes den Stil, den wir über die Use > Style Funktion von Midjourney auf unsere weiteren Bilder anwenden. Für aufwendigere Produktionen wäre ein Styletuner effizienter.
Mit dem Editor iterieren wir die Bilder so lange, bis wir zufrieden sind. Neun Bilder laden wir herunter und nehmen sie als Basis für das Animatic in Pika.
Part 2: Pika.art kennenlernen
Für die Animation unserer Styleframes testen wir Pika.art. Das Tool entwickelten zwei Stanford-Doktorandinnen, die ihr Team heute auf eine Runde an Motionexpert:innen, Filmemacher:innen und Programmierer:innen ausgeweitet haben.
Wie auch Midjourney startete Pika auf einem Discord-Server, der heute über 800.000 Mitglieder hat. Anfang des Jahres zog Pika mit der 1.0 Version in ein eigenes Webinterface um und veröffentlichte vor kurzem die 1.5 Variante. Das 1.5 Modell ist für alle kostenlos zugänglich, die vollen Funktionen zur Bearbeitung von bereits generierten Videos lassen sich allerdings nur mit dem 1.0 Modell im bezahlten Abomodell nutzen.
Das Beispiel von Julian van Dieken ist einer von vielen Pikaeffects, mit denen Bilder automatisiert animiert werden oder Szenen von Grund auf gepromptet werden können. Pika kann allerdings noch einiges mehr: von selbst entwickelten Szenen mit einer Länge vier oder mehr Sekunden bis zur individuellen Bearbeitung von bestimmten Bildstellen.
Part 3: Prompten in Pika
Für dieses Projekt haben wir uns für die Abovariante mit Zugang zu Pika 1.0 entschieden, da wir mehr Kontrolle über den Output brauchten und zudem das Pika 1.5 Modell derzeit stark überlastet ist, wodurch die Generierung oftmals bis zu 15 Minuten dauert. Mit 1.0 liegt die Generierungszeit zwischen ein bis drei Minuten, sodass wir unsere Ergebnisse schneller iterieren können.
Wir beginnen im Pika-Interface unten links mit dem Upload unseres ersten Styleframes und der Definition des Modells unten rechts. Für die Animationen kopieren wir den Prompt aus Midjourney, der unser Bild beschreibt, direkt in die Promptleiste von Pika. So stellen wir sicher, dass die KI erkennt, was auf dem Bild sichtbar ist. Dann setzen wir Kameraanweisungen davor und passen den Prompt so an, dass er die Bewegung beschreibt.
Wichtig: der Style sollte unbedingt ebenfalls weiter im Prompt stehen bleiben. In unserem Fall haben wir einen Ghibli-ähnlichen Animationsstil gewählt, der schnell die Grenzen und Möglichkeiten von Pika aufzeigt. Wenn diese Styleangabe fehlt, kann Pika manchmal etwas unvorhergesehene Ausreißer produzieren.
Anschließend können wir im Controlpanel unten rechts einen Negativprompt eingeben oder bei Generierungen ohne Basisbild das Seitenverhältnis ändern. In der 1.0 Version gibt es außerdem die Möglichkeit, die Kamerabewegung auszuwählen, Framerate, Stärke der Bewegung und Konsistenz mit dem Textprompt einzustellen, was gegenüber der 1.5 Version einen deutlichen Unterschied macht.
Und los geht der Generierungsprozess!
Part 4: Iteration und Editing
In Pika 1.0 generierte Videos können anschließend weiter bearbeitet werden. Dazu wählen wir in unserem Library-Bereich ein Video aus und klicken auf Edit. Unten im Controlpanel öffnen sich dann die Optionen. Darunter ein Inpainting-Feature und Canvas-Expand sowie Sound-Effects, die passend zu den Clips generiert werden.
Wir wählen Modify region, um Details in unserer Animation zu betonen oder Bewegungen anzupassen. Die Bearbeitungsfeatures sind allerdings etwas unberechenbar – auch hier ist wichtig, den gewünschten Style zu beschreiben, da Pika ansonsten eine andere Ästhetik generiert.
Spannend ist auch das Lipsync-Feature, in dem man Text eingeben, Stimmen generieren und das Video sehr zielsicher auf die Lippenbewegungen synchronisieren lassen kann.
Part 5: Schnitt und Sound
Um unsere animierten Styleframes zu einem Animatic zusammenzusetzen, haben wir Premiere Pro verwendet, aber ihr könnt jedes Schnittprogramm nutzen, in dem ihr euch wohlfühlt.
Unsere Clips sind ganz einfach hintereinander gesetzt und in den Längen bearbeitet, um zu skizzieren, wie das Pacing einer fertigen Animation aussehen könnte. In einem nächsten Schritt könnten dann noch Sounds und Musik hinzugefügt oder generiert werden.
Besonders effektiv, um das Grundgefühl des Animatics stimmig zu machen, sind einfache Color-Grading-Schritte, mit denen etwa die Wärme der Bilder und bestimmte Farbtöne angepasst werden können.
Learnings: Animatic mit KI
Pika.art ist nur eines von vielen Motion-AI-Tools, doch wir fanden das Webinterface angenehm intuitiv. Der Generierungsprozess ist dagegen noch nicht ganz so rund, wie wir es von reinen Bildgeneratoren wie Midjourney und Firefly gewohnt sind. Oftmals braucht es mehrere Prompt-Iterationen und Experimente mit den Parametern, um das gewünschte Ergebnis zu erzielen.
Allerdings ließ sich mit Midjourney und Pika in rund zwei Stunden ein Ergebnis produzieren, das bereits als Stylereferenz und grobes Animatic für eine aufwendigere Produktion dienen könnte.
Die Videoqualität und Koheränz mit dem Prompt ist zwar noch lange nicht produktionsreif, aber mit der Geschwindigkeit der KI-Entwicklung könnten wir bereits in wenigen Wochen die nächsten großen Fortschritte sehen. Habt ihr schon mit KI-Motion gearbeitet?
