Immer mehr Kampagnen setzen gegenwärtig auf Augmented Reality. Lan­ge Zeit war das Thema schwierig, weil es keine geeigneten Möglichkei­ten gab, diese virtuellen Darstellungen dem Kunden anschaulich zu vermitteln und ihn dafür zu gewinnen. Dazu gesellte sich die Unklarheit hinsichtlich der Frage, was eine AR-Anwendung ei­gentlich genau ist. Augmen­ted Reality entsteht dadurch, dass eine Ka­mera visuelle Marker erfasst, um deren Position in einem 3-D-Raum zu bestimmen. Diese Positionsdaten werden ge­nutzt, um genau an dieser Stelle ein drei­dimensionales Objekt zu generieren – zu sehen ist es dann allerdings nur auf dem Monitor des Users. Dieses Objekt kann animiert oder auch interaktiv vom User gesteuert werden. Aug­mented Reality kommt auch bei Interfaces zum Einsatz, etwa um einen Ton abzuspielen oder seine Laut­stärke mit­tels Markerposition zu regeln.

Die Welt als 3-D-Pop-up

Zu den aktuellen Kampagnen, die auf originelle Weise mit AR umgehen, zählt General Motors’ Smart-Grid-Web­site, die von Goodby, Silverstein & Partners (www.goodbysilverstein.com) ent­wickelt und von North Kingdom (www.northkingdom.com) umgesetzt wurde. Beide hatten bereits für die niedliche Got-Milk-Miniaturwelt zusammengearbeitet. Zur Demonstration einer bes­seren Energieauslastung kann der Nut­zer unter www.ge.ecomagination.com/ smartgrid entweder virtuelle Windräder auf seinem Monitor mittels Pusten in Bewegung versetzen oder dreidimensionale Sonnenkollektoren nach dem Sonnenstand ausrichten. Der Win­dows- oder Mac-User – Letzterer kann auch Safari als Browser nutzen – muss einen Marker ausdrucken und vor seine Webcam halten, nachdem er sie für die Anwendung ausgewählt hat. Als Antwort springt ihm eine eigene Welt wie eine Pop-up-Postkarte aus dem Monitor entgegen. Dort stehen ne­ben einer Vogelscheuche kleine Turbinen, die er über das Computermikrofon anpusten kann. Drehen sie sich, generieren sie Licht für ein Häuschen. Diese 3-D-Welt ist bis ins Kleinste ausgearbeitet, getreu dem Motto von North-Kingdom-Gründer Robert Lindström, nach dem es die Details sind, die einen hinters Licht führen. Flash-Developer Mikael En­tinger erklärt: »Das sieht komplizierter aus, als es ist. Wir messen nur die Lautstärke des Mikrofons und lassen die Turbinen sich danach drehen. Bei den Sonnenkollektoren passt sich der Stand der Sonne der Rotation des Markers an und die Zellen richten sich danach aus.« Entwickelt wurde die Anwendung mit dem FLARToolKit in Kombination mit Papervision3D. »Wir mussten die Tools lediglich für Sound und Anima­tion erweitern und die Performance verbessern«, erzählt Mikael Entinger. »Augmented Reality ist ein Algorithmus, der generell viel verlangt.« Und Producerin Elisabet Halming fügt hinzu: »Die Website und der AR-Part wurden unabhängig voneinander entwickelt. Erst später haben wir gemerkt, dass wir beide Seiten öffnen und verbinden müssen.« Was hat North Kingdom als nächs­tes Ziel im Bereich AR vor? Designer Peter Olofsson würde gern »eine AR-Anwendung als interaktiven Mittelpunkt einer Website entwickeln, der noch mehr an ein Produkt oder einen Service angebunden ist.

Das 3-D-Schiff auf der Produktverpackung

In deutschen LEGO Flagship Stores gibt es seit letztem November die Mög­lichkeit, über einen interaktiven Ter­mi­nal fertig zusammengebaute Schif­fe, Flugzeuge oder Bagger in 3 D in Augen­schein zu nehmen. Realisiert haben die Digital Box die Softwareentwickler von Metaio in München (www.metaio.com), hierzulande zweifellos die Vorreiter für Augmented Reality. Bei den Terminals steht der Kunde vor einem Monitor und hält einzelne Verpackungen aus einer bestimmten Produktreihe vor die Webcam. Über das sogenannte Feature Tra­cking wird die Verpackung als Ganzes erkannt, ohne dass ein Barcode oder dergleichen erforder­lich wäre. Dann er­scheinen auf dem Screen die jeweiligen Produkte mit lus­tigen Anima­tio­nen, um deren Funktio­nen zu veranschaulichen. »Softwareseitig war Me­taio schon länger dazu in der Lage. Doch ist das Thema AR schwierig zu kommunizieren, weil viele zuerst an eine Projek­tion denken. Beim Feature-Tracking sucht die Anwendung über die Webcam verschiedene Merkmale der Produktverpackung ab. Hat sie eine bestimmte Anzahl erkannt, wird die Verpackung auch als Ganzes erkannt. Um das über einen Internetbrowser an­zu­bieten, ist jede Menge Ent­wicklungs­aufwand vonnöten. Und dann braucht es eben die richtige Marke und einen Entscheider mit einer Vision«, erklärt Jan Schlink von Metaio. LEGO sei ein sol­cher Kunde gewesen. »Diese AR-An­wendung bietet ihm die Möglichkeit, sein Konstruktionsspielzeug in 3 D dar­zustellen und am Point of Sale erlebbar zu machen.«

Digitale Schnitzeljagd mit QR-Code-Stickern

Nicht nur online ist Augmented Reality ziemlich angesagt, auch als mo­bi­le Anwendung verheißt sie viel – doch das ist vorerst noch mit technischen Hindernissen auf mehreren Ebenen ver­bunden. Als einer der ersten Kunden überhaupt wagte Ford Ka Ende vergangenen Jahres mit der »Find It«-Kampagne in England, Belgien, Spa­nien, Deutschland und Italien den Einsatz von AR in exklusiver Verbindung mit dem Nokia-Smartphone. Das Konzept stammt von der in­terna­tio­na­len Marketing­agentur Wunder­man (www.wunderman.com), für die Umsetzung zeichnet das neuseeländische Labor HIT Lab NZ (www.hitlabnz.org) verant­wortlich. Um die Zielgruppe der 18- bis 25-Jährigen zu erreichen, wurde eine Street-Art-Kampagne mit gestalteten Stickern geschaltet, auf denen ein Web­link und ein QR-Code abgedruckt waren. Nokia-Smartphone-Nutzer konn­ten sich über den angegebenen WAP-Link eine Anwendung aus dem Web he­runterladen. Hielten sie dann ihr Han­dy vor den QR-Code des Stickers, erschien auf dem mobilen Screen der neue Ford Ka. Über die Seite GoFindIt.net gab es weitere Informationen und Bilder zu Street Art in Europa. Das größte Hindernis bei der Ent­wick­lung der Anwendung, so Wunderman-Kreativdirektor Richard Last, war die Dateigröße, denn die 3-D-Polygo­nen und die Texture-Map mussten erheblich reduziert werden. Hinzu kamen die unterschiedlichen Handsets mit verschiedenen Betriebssystemen und unterschiedlichen Providern wie O2 oder T-Mobile, wodurch das Testen extrem erschwert wurde. Aber selbst das gleiche Handymodell kann in ei-nem anderen Land nicht mehr auf die Software anspringen. Richard Last: »Es funktioniert abhängig von dem Netz, in dem sich der User gerade befindet, und dem jeweiligen Land. Aus einem merkwürdigen Grund heraus funktioniert ein Handymodell nämlich nicht in allen Länder einheitlich.«

Baseball-Sammelkarten zum Leben erweckt

Bild 1: Für Topps kombinierte Total Immersion Augmented Reality mit Sammelkarten: Einfach vor die Webcam halten . . .

Bild 2: . . . und schon wird der kleine Baseballspieler per Tastenbefehl auf dem Monitor lebendig

Nicht mobil, aber dennoch eine interessante Weiterführung der beweg­ten Welt: Das erste massentaugliche Produkt mit AR waren in diesem Frühjahr die Baseball-Sammelkarten von Topps Company Inc. Bekannt für ihre Karten von berühm­ten Sportlern oder Hollywood-Blockbustern, wagte das Un­ternehmen den Schritt, die Karten als Topps 3D Live um ein AR-Game zu er­weitern. Dabei gelang der französi­schen Softwarefirma Total Immersion (www.t-immersion.com) eine cle­vere Um­setzung der Idee: Auf speziel­len Karten aus der Baseball Series 1 und Attax findet sich ein Marker. Der User loggt sich über das Portal www.topps town.com ein, lädt eine Erweiterung für Internet Explorer oder Firefox für Windows oder Mac OS herunter und wählt den Namen des Spielers von seiner Sammelkarte aus. Hält er diese vor die Webcam, erscheint der Spieler auf dem Screen. Per Tastenbefehl kann er auf dem Monitor in unterschiedliche Richtungen wer­fen, fangen oder schlagen – und ge­winnen!

Twittern mit Augmented Reality auf T-Shirts

Das Flash-Department von Akqa tüftelt an einer AR-Anbin- dung, bei der der Code auf dem T-Shirt als Marker für den Twitter-Feed des Nutzers dient. Mehr dazu unter www. squidder.com

Gesichtserkennung in Echtzeit mit Flash, verknüpft mit dem Twitter- Feed des Users – zu sehen unter www.squidder. com/face

Das AR-Drumkit von Squidder: Verdeckt man die Klötzchen, werden Beats abgespielt

Was mit AR im Bereich Social-Media-Anwendungen möglich sein könn­te, zeigt John Reiling, Leiter der Flash-Abteilung von Akqa in Washington D.C., auf dem Experimentierportal Squidder (www.squidder.com): Originell ist ihr Twitter-T-Shirt-Projekt, bei dem sie einen Marker auf einem T-Shirt platzier­ten. Wird dieser von der Webcam getrackt, stellt er den aktuellen Twitter-Feed des Trägers als 3-D-Sprechblase auf dem Bildschirm dar. »Wir sind da­rauf gekommen, als wir individuelle Informationen in den übergreifenden Fiduciary Marker einbetten wollten. Statt für jede Info wie für den Nutzernamen oder den Account einen Mar­ker zu generieren, erzeugten wir nur einen einzigen mithilfe von FLARToolKit«, so John Reiling.

Zuerst hatte das Team vor, mit QR-Codes zu arbeiten, nutzte aber einen 2-D-Code, der mit bis zu acht Zeichen leich­ter zu erkennen ist. Außerdem ist der Barcode dunkelgrau, damit er vom FLAR­ToolKit ignoriert wird. »Dann nah­men wir die Positionsdaten, die das FLARToolKit ausgibt, um die Bitmap-Daten des Bereichs um den Marker he­rum zu ermitteln. Wir verwendeten einen empfindlicheren Code, um aus den Grautönen des Barcodes den Nutzernamen zu decodieren«, erzählt Reiling. Das Gute daran sei, dass man den Barcode nur einmal auslesen muss. „Da­nach braucht man den Fiduciary Marker nur einmal tracken, ohne jedesmal auch den Barcode auszulesen.“ Doch ging das Squidder-Team noch einen Schritt weiter: Mit der Ac­tion­Script-3-Library Marilena, die auf der Ob­jekt­er­ken­nungs­funktion der C-Lib­ra­ry OpenCV beruht, entwickelten es ei­ne Anwendung zur Gesichtserkennung mittels Webcam, und das in Echt­zeit mit Flash (zu sehen unter www.squidder.com/face). Es gelang ihnen, diese Erkennung wiederum mit dem Twitter-Feed zu ver­binden – bislang zeigt es als AR nur den Feed eines einzigen Users auf dem Monitor. Man darf gespannt sein, wann sie die Gesichter verschiedenen Personen zuordnen. Ein weiteres Spielzeug von Squidder ist das Augmented Reality Drum Kit. Hier werden Karten mit Markern vor der Webcam positioniert, und man kann dann auf den darauf erscheinen­den bunten Klötzen rudimentär Schlag­zeug spielen, indem man auf sie schlägt und damit einen Beat auslöst. Entwickelt wurde das ebenfalls mittels FLAR­ToolKit.

Die Anwendung mit 3-D-Quadern, die Sounds abgeben, sobald sie verdeckt werden, entstand spielerisch: »Das FLARToolKit trackt nämlich nicht nur, wenn Marker vor der Webcam auf­tauchen, sondern auch wenn sie wieder verschwinden oder verdeckt werden«, sagt Reiling. »Als ich Musik hörte, habe ich unwillentlich die Marker im Takt verdeckt.« So entwickelte sich nebenbei diese clevere Anwendung. Was könnte AR künftig noch bereithalten? »Schön wären multiple ARs, die ihrerseits untereinander interagieren. Zum Beispiel ein 3-D-Auto, das auf dem Schreibtisch fährt, während man Marker als Rampen hinzufügt, auf die das Auto reagiert«, spekuliert John Reiling. Weitere Möglichkeiten sieht er bei Film­postern mit Markern für 3-D-Trailer oder -Modellen einer Filmszene. »Man muss die Inhalte nicht mehr zum Rechner bringen – sie werden uns alle umgeben. Die Zukunft der AR liegt in mobilen Anwendungen.«

Augmented Reality und Print

Die fertige Anwendung: Nachdem man ein ActiveX-Plug-in für Internet Explorer installiert hatte, konnte man die Anzeige vor die Webcam halten, und der MINI erschien in 3 D

Bei der MINI-Kampagne Ende 2008, die Buzzin Monkey (http://buzzinmon key.com) und die agentour (www.die-agentour.de) gemeinsam entwickelten (siehe PAGE 02.09, Seite 11), kam ebenfalls die Unifeye-Plattform von Metaio zum Einsatz. Dabei wurde »das Virtuelle mit der Printwelt verbun­den«, erklärt Stefan Becker von Buzzin Monkey. Ausgangspunkt war eine eigens für die­se Weltpremiere gestaltete Printan­zeige von MINI, auf der ein Marker ab­gebildet war. Hielt der User die Anzeige vor eine Webcam, erschien auf dem Mo­nitor ein neuer MINI in 3 D, wobei man in dessen Innenraum sehen konn­te. Umgesetzt wurde die AR-Anwendung komplett mit der Unifeye-Plattform von Metaio. Die GUI-basierte Soft­ware wird als erste kommerzielle Lösung als Paket angeboten und erfordert keiner­lei Programmierkenntnisse.

Making of

1. 3-D-Modell des MINI erstellen

Im ersten Schritt modellierten wir das eigentliche 3-D-Objekt, den MINI, der später über die Printanzeige in einem Magazin virtuell belebt werden sollte. Die Daten dazu erstellten wir in Blender und importierten sie dann als VRML-Dateien in Unifeye.

2. 3-D-Modell mit Anzeigenvorlagen verknüpfen

Das Interface des Unifeye-Systems lässt sich einfach bedienen. Zunächst wählten wir die Kameraquelle aus, sei es eine einfache Webcam oder eine Digitalkamera. Über das Konfigurationsfenster stellten wir das Feature-Tracking ein, eine der Kern­funktionen, um die Printanzeige als optische Referenz einzurichten. Dann skalierten wir den 3-D-MINI, modifizierten ihn und brachten ihn in die gewünschte Position. Nun luden wir eine PDF-Datei der finalen Printanzeige ins System und stellten das MINI-3-D-Modell virtuell auf sie und verknüpften beides. Somit wurde die Vorlage automatisch mit dem Objekt verbunden.

3. AR.Anwendun testen und justieren

Wir begannen mit dem virtuellen MINI zu interagieren, um ein Gefühl dafür zu bekommen, wie der spätere Ablauf konzipiert werden sollte. Das war ganz leicht: Mit der Software konnten wir das 3-D-Objekt in die Hand nehmen, beliebig mani­pulieren und für neue Ansichten und Ideen damit herumspielen.

4. Animationsablauf testen

Erst am Schluss wandten wir uns dem entscheidenden Detail der ganzen Anwendung zu – der Work­­flow- Engine, mit der wir den Animationsablauf konzipierten und simulierten. Wir verknüpften die unterschiedlichen Aktio- nen wie Bewegung, Beleuchtung oder Effekte miteinander und konnten sie sofort im Aktionsfenster betrachten. Zum Beispiel ließen wir den MINI über diese Anzeige fahren. Auf diese Weise erhielten wir einen virtuell-realen Film, den wir für die Präsentation und im Anschluss für die Implementierung des Projekts verwendeten.