»Operator … Operator! Geht es euch gut? Ich bin es, ARIS, eure Bord-KI. Es ist Zeit aufzuwachen. Wir haben Probleme!«
Die interaktive Bord-KI ARIS auf der Brücke. Äußerlich erinnert sie ein bisschen an HAL 9000 aus Stanley Kubricks »2001: Odyssee im Weltraum«, im Spielverlauf erweist sich der GPT-Agent aber als zuverlässiger Begleiter
Burg Giebichenstein Kunsthochschule Halle. Könnte so die Zukunft des interaktiven Geschichtenerzählens aussehen? Wie sich KI-Agenten in interaktive Medien integrieren lassen, erforschte Oscar Emanuel Patzschke für seinen Bachelorabschluss im Fach Multimedia|VR-Design und entwickelte als Proof of Concept in der Unreal Engine 5 das 3D-Single-Player-Game »ARIS: Echoes of Time«.
Hier geraten die Spielenden in die Umlaufbahn des verlassenen Planeten Jarvis IV, den sie auf der Suche nach Treibstoff zu erforschen beginnen. Dabei sammeln sie Artefakte und lernen nach und nach eine untergegangene Zivilisation kennen. Die Erkundung wird von dem KI-gesteuerten Agenten ARIS begleitet, einem Non Player Character (NPC), der als Co-Pilot seinen Operator unterstützt. Mit ihm können die Spieler:innen zu jedem Zeitpunkt über das Mikrofon interagieren. Das heißt, sie können Fragen stellen und bekommen via Sprachausgabe dynamische Antworten, fast wie von einem Menschen.
Nach einer etwa zehnminütigen Reise begegnet man einem zweiten KI-basierten NPC: Sola. Als einzige Überlebende auf Jarvis IV reagiert sie zunächst zynisch und abweisend und muss vom Spielenden verbal überzeugt werden, ihr letztes verbliebenes Mineral abzugeben. Abhängig von den gesammelten Artefakten und dem daraus resultierenden Wissen über die Vergangenheit des Planeten endet das Game auf ganz unterschiedliche Weise. »Meine Spielwelt ist von der Science-Fiction der 1980er Jahre inspiriert. Eine trostlose, öde Landschaft, die das Gefühl von Isolation und Fremdheit vermittelt. Diese Atmosphäre betont die Nähe zwischen ARIS und dem Spielenden und verstärkt so die Immersion«, erklärt Oscar Emanuel Patzschke.
Und so funktioniert die Integration KI-basierter Dialoge in Unreal technisch: Mit den Microsoft Azure Speech Services wird die Stimme des Spielenden synthetisiert und in Textform der GPT-API zur Verfügung gestellt. Um dem NPC einen eigenen Charakter zu geben und zudem sicherzustellen, dass er sich in der Spielwelt orientieren kann und weiß, welche Aktionen er ausführen soll, erhält die API aus Unreal kontextbezogene Informationen und Befehle. Aus der KI-Kommunikation extrahiert die Engine darüber hinaus Textbefehle und wandelt sie in Aktionen um, sodass auch dadurch ein immersives, einzigartiges Erlebnis entsteht.
Auf der Spieleplattform itch.io kann man »ARIS« herunterladen und ausprobieren.
Die Oberfläche des Planeten Jarvis IV
Die Screenshots zeigen die Mesh-Optimierung der Raumschiffbrücke (oben) und das Blockout der Planetenoberfläche (unten) in der Unreal Engine 5. Wie er GPT eingebunden hat, erklärt Patzschke unter https://github.com/oscaem/ARIS-Unreal-GPT
Oscar Emanuel Patzschke beginnt dieses Jahr ein Computer-Science-Masterstudium am Georgia Institute of Technology. »ARIS: Echoes of Time« war in der Kategorie »Interessantestes Experiment« für den GiebichenStein Designpreis 2023 nominiert
Virtual Reality und die Neurowissenschaften: Das müssen VR-, UX- und Interaction Designer wissen. Internationale Studien und Experimente, Ethikstandards
