Lumiere nennt Google sein neues KI-Modell zur Generierung von Videos.
Bei »Stylized Generation« gibt ein Still den Stil des erzeugten Videos vor.
Anders als bekannte Ansätze, die ausgehend von Keyframes die Zwischenschritte berechnen, erstellt Lumiere Clips in einem Durchgang als Sequenz mit einer Maximallänge von fünf Sekunden (80 Frames bei 16 fps). Das Verfahren soll vor allem glaubhaftere Bewegungen erzeugen. Google präsentierte die Features »Text-to-Video«, »Image-to-Video«, »Stylized Generation« (ein Standbild dient als Vorlage, die per Text-Prompt generierten Videos übernehmen den Bildstil als Referenz), »Video Stylization« (markierte Elemente werden im angegebenen Stil gezeigt), »Cinemagraphs« (Objekte eines Stills werden animiert) und »Inpainting«. Bei Letzterem lassen sich Elemente im Video austauschen, zum Beispiel Kleidung, oder Accessoires hinzufügen. Bei Lumiere handelt es sich noch um ein Forschungsprojekt.↗ https://lumiere-video.github.io
Mit der Option »Inpainting« fügt Lumiere einem Video generierte Objekte hinzu oder kann vorhandene austauschen.
