Physical Interfaces: Gefühlvoll auf Distanz
Studierende der Fachhochschule Augsburg entwickelten ein Semester lang vier physische Interfaces, die bei der Kommunikation über weite Entfernungen für echte Nähe sorgen sollen
Awareness (Bewusstsein über den Zustand der Umgebung sowie über die Dinge und Personen darin), Expressivity (individuelle emotionale Ausdrucksformen in Beziehungen), Physicalness (körperliche Wahrnehmung des Partners), Gift Giving (Ausdruck von Wertschätzung und Dankbarkeit durch Geschenke), Joint Action (gemeinsame Tätigkeit) und Memories (greifbare Erinnerungen). Mit diesem Hintergrundwissen gingen die Studierenden schließlich an die gemeinsame Konzeption und Konstruktion von vier korrespondierenden Artefakten, wobei jedes Teammitglied neben der Gestaltung auch eine Organisationsaufgabe zu erfüllen hatte.
Stille Post
So sieht es im Innern eines Artefakts zur Kommunikation zwischen sich nahestehenden Menschen aus. Es besteht aus einem Arduino-Board, einem Motor, einem Mikrofon und einem Drucker. Lesen Sie in diesem Artikel, wie es entstand.
Konzepte: Wie funktioniert subtiles Verbundensein?
Heraus kamen sehr unterschiedliche Ansätze für emotionale technische Kommunikation zwischen zwei Personen. Dabei interagieren beide mit je einem Gerät derselben Art, können sich aber weder direkt sehen oder hören, wie beispielsweise bei einem Videoanruf. Stattdessen lassen uns die Teleflirt-Artefakte durch eher unterschwellige Kommunikationsmethoden die andere Person bewusster wahrnehmen. Der Pathfinder versendet Nachrichten beispielsweise in Form eines Pixelrasters, das die Empfänger:innen durch eine Art Suchspiel mit Vibration selbst zeichnen und dadurch sichtbar machen. So erhalten auch beide User ein physisches Exemplar des Bilds oder Textes als anhaltende Erinnerung.
Die beiden Artefakte schicken Nachrichten als verschlüsselte Pixelbilder, die bei einer Art Suchspiel mit Vibration sichtbar werden. Im Laufe der Interaktion erhalten beide User ein physisches Exemplar des Bilds.
Das Artefakt in zweifacher Ausführung beschäftigt sich mit der Interaktion mittels Geräuschen. Über eine Miniaturtür kann man sich die Soundkulisse der auserkorenen Person ins Zimmer holen. Je weiter die Tür geöffnet ist, desto deutlicher ist sie zu hören.
Mit dem Artefakt Door to Door kann man sich die Soundkulisse einer geliebten Person ins eigene Zimmer holen. Je nachdem, wie weit man die kleine Tür öffnet, sind die Geräusche einmal deutlicher oder einmal leiser und dumpfer zu hören. Das Interface Take my Hand möchte in Form von zwei Schreibtischlampen über einer glatten Tischplatte zärtliche Handberührungen über Distanz ermöglichen. Mit einem Beamer und einer Kamera ausgestattet, filmen die Leuchten die Handbewegungen der Nutzer:innen und projizieren sie als Handmodell auf die jeweils andere Tischplatte.
Die Artefakte in Form einer Schreibtischlampe möchten zärtliche Handberührungen mithilfe einer Webkamera und eines Kodak-Ultra-Mini-Projektors spürbar machen.
Und mit Telletter erstellt und versendet man durch Stimmaufnahmen kleine Briefe wie eingangs beschrieben. Die Anwendung besteht aus zwei Briefkästen, an denen sich die Sprachnachrichten sowohl aufnehmen als auch ausdrucken lassen, wobei die beiden Boxen über einen Webserver verbunden sind und durch die typisch amerikanischen Fähnchen den Interaktionsstatus anzeigen.
Die beiden Briefkästen im US-Stil versenden Stimmaufnahmen als Text und drucken sie beim Empfänger aus. Die kleine Fahne zeigt – ganz wie beim amerikanischen Vorbild –, ob sich ein Brief darin befindet. Die kleinen ausgedruckten Botschaften erinnern die User:innen aneinander.
Objektdesign: Distanz und Vertrauen vermitteln
Alle Stücke sind aus den verschiedensten Materialien, aber farblich einheitlich gestaltet, um das gemeinsame Thema und die jeweiligen Interaktionsmöglichkeiten zu betonen. So verwendete das Team als Grundfarbe der Teleflirt-Geräte ein gelbstichiges Beige und ein Königsblau mit einem Hauch Türkis als Interaktionsfarbe. Der für Ruhe, Klarheit und Entspannung stehende Farbton soll zu einer einfachen Bedienbarkeit der Objekte beitragen und zugleich eine gewisse Distanz erzeugen, die wiederum Vertrauen schafft. Insgesamt sorgt die Farbgebung dafür, dass die Artefakte präsent, aber nicht aufdringlich wirken, und gerne würden wir sie selbst mit einer geliebten Person in der Ferne ausprobieren.
Tell me her letter!
Tara Winkelmann erläutert das Konzept sowie die Hard- und Software der Telletter-Anwendung
Ausgehend von Jingwen Zhus Cloud Printer aus dem Jahr 2015 entstand die Idee, gesprochene Sprache in digitalen Nachrichten zu versenden und mit einem kleinen Drucker zu materialisieren. Die Prinzipien Gift Giving und minimale Reaktionen brachten uns auf das Modell eines amerikanischen Briefkastens, dessen Fähnchen dem Briefträger anzeigt, dass frische Post auf ihn wartet. Die Telletter-Kommunikation erfordert stets zwei Briefkästen und zwei Anwender:innen. Im absoluten Ruhezustand beider Briefkästen sind ihre Fähnchen nach unten gestellt und beide Klappen geschlossen.
Um eine Sprachnachricht aufzunehmen, öffnet man die Klappe, drückt die Fahne nach oben – und das Artefakt beginnt mit der Sprachaufnahme. Ich spreche meine Nachricht in den Briefkasten, schließe die Klappe, und die Aufnahme stoppt automatisch. Mithilfe einer Spracherkennungssoftware digitalisiert Telletter die gesprochene Nachricht und übermittelt sie an sein Gegenstück. Dessen Fahne fährt nach oben und signalisiert so eine eintreffende Nachricht. Öffnet die empfangende Person nun den Briefkasten, beginnt dieser, die Nachricht auszudrucken. Zeitgleich fahren beide Fahnen automatisch nach unten, und der Prozess kann nach Schließen der Klappe neu starten.
Hardware-Set-up
Jedes Telletter-Artefakt besteht aus einem mit einem Arduino-UNO-Board verbundenen kleinen Drucker, einem Servomotor, einem Magnetschalter, einem Laptop und einem externen Mikrofon. Der Drucker muss mit Strom versorgt sein. Außerdem muss man im Chrome-Browser mittels Eingabe von »chrome://flags« die experimentellen Chrome-Features aktivieren. Dann öffnen wir den Link https://telletter.herokuapp.com und initialisieren Arduino im Browser. Damit ist der Briefkasten einsatzbereit. Folgende Geräte kamen in unserem Projekt zum Einsatz:
Für die Sprachaufnahmen nutzen wir das omnidirektionale USB-Mikrofon iGOKU und zum Drucken der gesprochenen Nachrichten Sparkfuns Thermodrucker COM-14970. Mit ihm lassen sich einfache Strings auf Thermorollen drucken, zudem kann man ihn leicht mit dem Arduino-Board verknüpfen. Als Servomotor verwenden wir Adafruits Analog Feedback Micro Servo Metal Gear. Hier war es wichtig, dass sich der Motor sowohl manuell als auch automatisch drehen lässt, da die Briefkastenfahne daran befestigt ist. Ob die Klappe des Briefkastens geöffnet oder geschlossen ist, messen wir über einen Magnetschalter am Stromfluss. Bei geschlossener Klappe herrscht ein durchgehender Stromfluss, beim Öffnen wird er unterbrochen.
Steuerung der Anwendungskomponenten und Datenaustausch
Das Arduino-UNO-Board, die einzelnen Komponenten und die Sprachaufnahme über die p5.speech-Library steuern wir über ein p5.js-Skript. Arduino und p5.js kommunizieren dabei über das serielle Protokoll Funken, das über einen seriellen Anschluss Callbacks auf einem Arduino ermöglicht. Da die p5.speech-Erweiterung auch als Schnittstelle fungiert, können wir mit ihr über einen HTTPS-Server Sprachaufnahmen sowohl starten als auch auslesen. Bei zu wenig Gesprochenem beendet sie automatisch die Erkennung und Aufzeichnung. Für die Weiterverarbeitung speichert die Speech-Extension die Aufnahme in einem String. Nun schickt unser Skript den String via WebSocket-Verbindung per Socket.IO an den Drucker im anderen Artefakt, der diesen beim Öffnen der Klappe ausdruckt. Das Senderartefakt erhält auf demselben Weg eine Meldung, die anzeigt, dass unsere empfangende Person die Nachricht entnommen hat.
So sieht die grundlegende Verbindung von p5.js zu Arduino in p5.js aus:
function servoToPos(){
serialController.write(“SERVOTOPOS”);
serialController.write(” “);
serialController.write(servoValueArduino);
serialController.write(“\r\n”);
}
Mit diesen Code-Zeilen initialisieren wir die Funken-Library in unserer Arduino-Datei:
//init funken
fnk.begin(57600, 0, 0); // Höhere Symbolrate für eine bessere Performance
fnk.listenTo(“SERVOATTACH”, servoAttach); // Servo anschließen;
fnk.listenTo(“SERVODETACH”, servoDetach); // Servo entfernen
fnk.listenTo(“SERVOTOPOS”, servoToPos); // Setzt den Servo an die richtige Position
fnk.listenTo(“GETSTRINGTOPRINT”, getStringToPrint); // Nachricht wird erstellt
fnk.listenTo(“READYTOPRINT”, readyToPrint); // Gesendete Nachricht soll ausgedruckt werden
Und auf diese Weise verarbeitet Arduino die Daten aus der Funken-Library:
void servoToPos(char *c) {
char *token = fnk.getToken(c); // Benötigt die Library, um richtig zu funktionieren, kann ansonsten ignoriert werden
servoValue = atoi(fnk.getArgument(c));
servo.write(servoValue); }
3D-Druck des Briefkastens
Auf der Konstruktionsplattform Boxes.py fanden wir eine relativ gute Vorlage für eine Box mit einer derart schwierigen Rundung. Die finale Version des Telletters ist 16 Zentimeter breit, 30 Zentimeter lang sowie am höchsten Punkt 20 Zentimeter hoch. Die Fahne misst 18 Zentimeter und ist in einem Winkel von 355 Grad abgeschrägt. Die gerundete Öffnung ist 48,3 Zentimeter breit und 30 Zentimeter hoch.
Ausblick
In einer weiter ausgearbeiteten Telletter-Variante könnte man noch die Lautstärke der Sprachaufnahme berücksichtigen und laut eingesprochenen Text in All Caps ausdrucken und Flüstern in Kleinbuchstaben, was die Stimmung und Emotion der sprechenden Person noch besser abbilden würde. Wünschenswert wäre natürlich auch eine komplette Loslösung vom Laptop, beispielsweise indem man einen Raspberry Pi nutzt.
Tara Winkelmann fasziniert die Schnittstelle zwischen Code und physischer Umgebung. Sie studiert im 6. Semester Interaktive Medien an der Hochschule für angewandte Wissenschaften Augsburg.
Dieser Artikel ist in PAGE 07.2021 erschienen, die Sie hier komplett runterladen können.
Hybrid Work ++ Klimanutzen Recyclingpapier? ++ TDC New York ++ Neue Bildwelten ++ Circular Design ++ Interview: Matt Willey ++ Physical Interfaces
