AR war bisher nur im Zusammenhang mit unbewegten Bildinhalten möglich. Jetzt revolutioniert eine neue AR-Technologie Homeshopping und In-Store-Erlebnisse. Wie funktioniert Video-triggered Augmented Reality?
An Augmented-Reality-Objekte, die an Bilder, Marker oder wie bei »Pokémon GO« an Geomarker gekoppelt sind, haben wir uns gerade gewöhnt, da wartet das Münchener Start-up eyecandylab bereits mit einer neuen Technologie auf: Video-triggered AR knüpft AR-Objekte an Bewegtbilder, sodass TV, Kino, Public Viewing, In-Shop-Events oder auch YouTube-Videos eine ganz neue Dimension der User Experience erhalten können.
Erste echte Use Cases sind schon da
Die eyecandylab-Developer setzen Frame-genaue Triggerpunkte im Video und verknüpfen sie mittels Objekterkennung und Timecode mit AR-Elementen aus der eyecandylab-Datenbank. Die AR-App basiert auf dem mit der 3D-Entwicklungsplattform Unity realisierten augmen.tv SDK und funktioniert plattformübergreifend. Das AR-Erlebnis können User also sowohl über Apps mit ARCore für Android-Smartphones als auch mit ARKit für Apple-Geräte abrufen.
»Nach rund zwei Jahren Entwicklungszeit kam unsere Technologie im Oktober 2019 erstmals bei dem südkoreanischen Mobilfunkanbieter LG Uplus zum Einsatz«, sagt Robin Sho Moser, CEO und Mitbegründer von eyecandylab. Zuschauer der drei größten südkoreanischen Homeshopping-Kanäle GS Home Shopping, Lotte Homeshopping und Home & Shopping konnten mithilfe der App U+ AR Shopping ausgewählte Artikel aus den laufenden Sendungen heraus über Smartphone oder Tablet als AR-Objekte in die reale Wohnumgebung stellen. »Als führender Anbieter von innovativen Diensten im 5G-Bereich sind wir begeistert, unseren Kunden relevante Anwendungsfälle anbieten zu können«, sagt Keeman Seoh, Vice President von LG Uplus. Die Technologie von eyecandylab war ein willkommenes Differenzierungsmerkmal zur Mobilfunkkonkurrenz.
Neben der Anreicherung von Live-TV-Sendungen im Shopping- oder Sportbereich (siehe unten) drängen sich weitere Use Cases für Video-triggered AR geradezu auf. So könnten Augmented-Reality-Elemente auch Dokumentationen, Naturfilme oder Nachrichten bereichern und damit den Medienbruch zum Second Screen schließen, indem sie zusätzliche Informationen unmittelbar visualisieren.
Storytelling am Point of View
Ein weiterer vielversprechender Anwendungsbereich ist das Erlebnisshopping. Nicht nur das Zukunftsinstitut in Frankfurt am Main sieht ganz neue Chancen für den stationären Handel – auch adidas nutzt bereits Video-triggered AR, um das Einkaufen in der Fläche attraktiver zu gestalten – etwa im neuen Flagship-Store an der Pariser Champs-Élysées.
Zur Einführung der Produktlinie Parley im November 2019, die adidas in Kooperation mit der Umweltinitiative Parley for the Oceans komplett aus Meeresplastik herstellt, installierte adidas einen riesigen Bildschirm im Flagship-Store. Auf ihm kreuzt ein virtueller Wal die Weltmeere. Nur der viele Plastikmüll stört die Idylle. Also fordert der Vorspann des Videos die Kunden auf, eine App herunterzuladen, um damit Plastikflaschen und -tüten, Fischernetze, Taue und alte Flipflops aus dem Video einzusammeln. In der App kann der User sehen, wie der gesammelte Müll zu einem Partikelregen zerstoßen und dann zu einem Faden versponnen wird, aus dem am Ende der neueste Sneaker der adidas-Kollektion Parley entsteht.
Augmented Reality: Next Steps
Video-triggered-AR-Kampagnen wie im adidas Performance Store Paris sind bisher noch Einzelfälle, doch Robin Sho Moser blickt optimistisch in die Zukunft: »Wenn in ein bis zwei Jahren die AR-Headsets von Apple und Facebook auf den Markt kommen, wird das dem Thema Augmented Reality noch einmal einen ordentlichen Schub verleihen.« Deswegen partnert eyecandylab vorsorglich schon mit dem chinesischen Unternehmen Nreal, das seine ultraleichten und kostengünstigen AR-Brillen bereits jetzt weltweit über große Telekommunikationsanbieter vertreibt. Bekanntlich gilt ja: First come, first served.
adidas im Inkubator
Idee und Konzept für die App und die Shop-Installation entwickelten adidas und eyecandylab im Frühjahr 2019 während des von adidas initiierten Accelerator-Programms Plattform A bei Station F in Paris, dem weltweit größten Start-up-Campus. Eyecandylab wurde nach einem mehrstufigen Auswahlverfahren dort aufgenommen. Die Augmented-Reality-Anwendung For the Oceans, die eyecandylab zusammen mit der Pariser Kreativagentur Monochrome produzierte, avancierte schnell zum Publikumsmagnet im Weihnachtsgeschäft und zahlte gleichzeitig prima auf das Nachhaltigkeitsimage von adidas ein.
Von Mitte November bis Heiligabend forderten Verkaufspersonal und Hinweisschilder adidas-Kunden an der Champs-Élysées auf, sich die App For the Oceans herunterzuladen, um in die AR-Experience einzutauchen. »Die Augmented-Reality-Elemente im Video erhöhten die Aufmerksamkeit der Kunden im Store immens«, beobachtete Robin Sho Moser. Sie machten das Storytelling aktiv erlebbar und holten die Kunden aus ihrer passiven Zuschauerhaltung in die aktive Interaktion mit dem Produkt.
Erste Apps mit Video-triggered AR
Ergänzende Infos Auch Sportübertragungen und andere Live-TV-Sendungen lassen sich um AR-Elemente ergänzen. Hier sieht der User weiterführende Spielerinformationen.
Produkte in die Wohnung »beamen« Mit der LG-App U+ AR Shopping können User aus dem Homeshopping-Programm diverser TV-Sender ausgewählte Produkte per Augmented Reality direkt ins Wohnzimmer portieren. So weiß der User gleich, wie sie später aussehen.
Sneaker aus Ozeanplastik Gemeinsam mit Monochrome Paris entwickelte eyecandylab die AR-App For the Oceans auf Basis von Unity. Im adidas Performance Store Paris liest die App AR-Elemente aus dem laufenden Kampagnenvideo aus. Aus der AR-App gelangt der User direkt in die adidas-Shopping-App.
Der virtuelle Wal muss seinen Lebensraum mit Unmengen von Plastikmüll teilen. Sammelt der User die Objekte mit der App ein, setzen sich die Partikel zu einem Faden zusammen, aus dem das Obermaterial des adidas-Sneakers Alphabounce Parley entsteht – komplett aus Ozeanplastik.
So funktioniert Video-triggered AR
Mit der Smartphone-Kamera scannt der Nutzer das laufende Video – dabei kann es sich sowohl um eine vorproduzierte TV-Sendung als auch um eine Live-Übertragung handeln. Die Kamera gibt diese Bildinformationen an die App weiter, die das augmen.tv Unity SDK enthält. Diese ist verknüpft mit der augmen.tv-Cloud .
In ihr analysiert die Software das Fernsehbild und erkennt über eine ID-Nummer, welches Video der User ansieht. Über den Timecode des Videos ermittelt sie, welche Stelle im Inhalt er gerade konsumiert …
… und zeigt den passenden AR-Content über die in Smartphones verbaute ARCore-Technologie von Google oder über ARKit von Apple an . Da die AR-Inhalte mit der 3D-Entwicklungsplattform Unity realisiert wurden, lassen sie sich plattformunabhängig ausspielen.
Mit den AR-Objekten kann der Nutzer interagieren, Zusatzinformationen entdecken oder Produkte, die auf dem TV-Screen zu sehen sind, direkt kaufen .
TIPP! Wenn Sie diesen Artikel im Print-Layout lesen möchten, dann laden Sie sich einfach das PDF von PAGE 05.2020 herunter:
Weblayout: Fluide Gestaltungsraster ++ Identities für Floristinnen und Floristen ++ DesignOps in Unternehmen ++ Step by Step: Vom Variable Color Font zur animierten Illu ++ Corporate Language: Branding in Zeiten von Chatbots und Co ++ Agenturen mit Public Space ++ How-to: Video-triggered AR
