»Wir sammeln innovative Eingabegeräte«, sagen Paul Kirsten und Christian Freitag, Bachelor-Absolventen an der Burg Giebichenstein Kunsthochschule Halle.
Um den besten Controller für ihre Abschlussarbeit »Metaworlds« zu finden, checkten sie ein reichhaltiges Arsenal jenseits von Tastatur und Maus. Paul Kirsten berichtet über die Fahndung in Sachen Anwendungssteuerung und Generative Gestaltung.
Korg nanoKONTROl2 (oben) und Razer Hydra sind nur zwei Modelle aus der opulenten Controller-Kollektion der Metaworlds-Schöpfer
Dass die Navigation über eine handelsübliche Computermaus für das Projekt Metaworlds relativ ungeeignet ist, war schnell klar. Das ideale Eingabegerät sollte sich frei im Raum bewegen lassen, für die User intuitiv zu bedienen sein und die wichtigsten Funktionalitäten integrieren können.
Der Korg nanoKONTROL2 ist zwar als Midicontroller konzipiert, aber auch zur Steuerung einer 3-D-Computergrafik ist das 8-Kanal-Mischpult geeignet. Auf den Reglern und Schaltern kann man viele Funktionen definieren. So lässt sich beispielsweise über den Drehregler die Größe der Metaballs steuern.
Zunächst testeten wir den nanoKONTROL2 mit einer handelsüblichen Computermaus. Mithilfe des Ragdoll-Scripts DragRigidbody.js, das als Standard-Asset mit Unity geliefert wird, kann man die Blobmeshes über die physikalischen Hilfsobjekte per Linksklick anwählen und im Raum bewegen. Per Rechtsklick kann der User die Kamera um die Metaworld rotieren lassen. Die acht Schiebe- und Drehregler des nanoKONTROL2 belegten wir mit Werten wie Anzahl oder Größe der Objekte pro Hilfskörper. Auf diese Weise konnten wir sie beim Experimentieren mit Metaworlds ganz einfach manipulieren.
Die GyroMouse von Gyration ist eine kabellose Maus mit Gyrosensor, die man ohne Modifikationen einsetzen kann, da sie mit ihrem Treiber die gemessenen Sensordaten in xy-Koordinaten umrechnet. So kann sich der User frei im Raum bewegen. Diese haptische Freiheit verstärkt vor allem das immersive Moment. Im Grunde ist die GyroMouse zu sensorbasierten Zeigegeräten wie der Nintendo Wiimote oder dem PlayStationMove-Motion-Controller kompatibel.
Da Metaworlds im 3-D-Raum simuliert wird, beschäftigten uns auch Eingabegeräte, die bis zu sechs Freiheitsgrade wiedergeben, also die absolute Position im Raum und die Rotation auf allen drei Achsen. Die Razer Hydra arbeitet mit einer magnetischen Bewegungserkennung und gibt die exakte Position und Ausrichtung der Controller für beide Hände wieder. Sie ist kabelgebunden, bietet aber eine Reichweite von bis zu 1,5 Metern und eine geringe Latenz. Anders als optische Trackingsysteme wie Kinect oder Leap Motion funktioniert ihre Bewegungserkennung auch bei schlechten Lichtverhältnissen oder kompletter Sichtbehinderung.
Der Sensor der Leap Motion erkennt mittels optischer Kameras und Infrarotsensoren die Fingerpositionen und Handdrehungen in bis zu einem Meter Abstand. Wir beschränkten uns auf die Eingabe mit den Zeigefingern, da die Erkennung beim Greifen in der aktuellen Hardware-Version noch unzuverlässig funktioniert. Hier war es wichtig, Klick-Events wie die Auswahl eines Hilfskörpers möglichst einfach zu übersetzen. Wir gaben dem 3-D-Cursor eine Art Kraftfeld, das die Körper in einem gewissen Radius »einfängt«. Und tatsächlich: Die Interaktion wirkt fast schon magisch.
Dieser per Smartphone fernsteuerbare Roboterball mit Gyroskop, Beschleunigungssensor und RGB-Leuchtdiode ist unser Favorit. Für Unity-Entwickler gibt es ein SDK mit Zugriff auf alle Funktionalitäten, auch auf einen Controllermodus, in dem der Ball seine Sensordaten per Bluetooth sendet.
Unsere derzeitige Sphero-Eingabe lässt einen 3-D-Cursor um ein Zentrum rotieren und beeinflusst die Hilfskörper des Blobmeshs nach einem Kraftfeldprinzip: Die Helferobjekte unter der Oberfläche der Metaworlds werden je nach Tempo des Cursors magnetisch angezogen oder wieder freigegeben, Ballschüttler ändern die Szenerie. Sphero ist das weitestreduzierte Eingabegerät unserer Tests, Tasteneingabe ist nicht erforderlich, und man kann die Anwendung aus jeder Position bedienen. Und da die farbigen Leuchtdioden im Innern die Farbstimmung der Metaworlds annehmen, verstärkt das die Immersion.
Paul Kirsten, Student im Masterstudiengang Multimedia|VR-Conception, Halle
/imagine: KI in Branding und Design ++ How-to: KI in der Bewegtbildproduktion ++ 3D-Typo für AR, VR und Leitsystem ++ Step by Step: Variable Fonts animieren ++ ++ KI-Tools im Designprozess ++ Employer Branding: Talente anziehen und halten ++ KI und Hochschule ++ ENGLISH SPECIAL Leanne Shapton ++ Warum KI nicht nur ein weiteres Werkzeug ist ++ KI in der Bildbranche
