Sieht für dich: So entstand die Blindenassistenz-App Dot Go

PROJEKT Dot Go, App und Plattform, https://dot-go.app
AGENTUR Serviceplan Innovation, München, www.serviceplan.com
PARTNER Dot Incorporation, Seou, www.dotincorp.com
ENTWICKLUNG Hyperinteractive, Hamburg, www.hyperinteractive.de
TECHNIK LiDAR (Light Detection And Ranging), Google Cloud Vision API, Swift, NFC
ZEITRAUM Juni 2020 bis zum Launch im März 2022

Von den Machern der ersten Braille-Smartwatch Dot Watch (2015) und mehrerer anderer innovativer Technologien für Menschen mit Sehbehinderung kommt nun ein weiteres intelligentes Produkt auf den Markt. Serviceplan Innovation in München und das koreanische Unternehmen Dot Incorporation bringen mit Dot Go eine iOS-App mit gleichnami­ger Plattform an den Start, die es Blinden und Sehbehinderten erlaubt, Objekte im Raum zu erkennen und mit konkreten Aktionen zu verbinden. Die Mög­lichkeiten sind dabei immens, denn jedes beliebige Objekt lässt sich mit jeder denkbaren per Smartphone triggerbaren Aktion verknüpfen. Ein Beispiel: Taucht in der Handykamera das Schild einer Bushaltestelle auf, kann die App etwa eine gesprochene Entfer­nungs­an­gabe, das Vorlesen des Busfahrplans oder den Ticketkaufprozess auslösen, immer abhängig davon, welche Aktionen man zuvor mit dem Haltestellenschild verknüpft hat.

Orientierung im Raum ganz ohne Langstock

Die Idee stammt von Serviceplan Innovation, einer auf Produktentwicklung spezialisierten Unit in Mün­chen. Fürs Development kollaborierte das achtköp­fige Team mit Dot Incorporation, Serviceplan Korea und dem Innovation Studio Hyperinteractive aus Hamburg. Serviceplan und Dot Incorporation arbei­ten bereits seit 2015 in einem Equity-for-Creativity-Modell erfolgreich zusammen. Sie sind ein eingespieltes Team, auch persönlich eng befreundet und in ste­tem Austausch, sodass man nur selten sagen kann, von wem am Ende welcher Input kommt. Über die Jahre hat sich die Aufgabenverteilung aber verändert. War Serviceplan bei früheren Projekten wie der Dot Watch noch hauptsächlich mit dem Drumherum (Assets, Campaigning, PR) beschäftigt, über­nahm die Agen­tur bei den von Dot Incorporation erdachten Produk­ten Dot Mini und vor allem Dot Translate mehr Aufgaben im Bereich Entwicklung.

Dot Go ist nun ein Produkt, das Serviceplan zunächst allein konzipierte und entwickelte, um es in der Folge unter dem Dach von Dot Incorporation zu veröffentlichen. Die Expertise der Koreaner besteht hier im unvergleichlichen Zugang zur Zielgruppe und ihren Bedürfnissen. Wichtig ist, dass Dot In­cor­pora­tion kein Hardwarehersteller von Braille-Technologie ist, sondern Anbieter ganzheitlicher As­sis­tenzsysteme für alle Menschen. »Historisch sind die Nutzer und Nutzerinnen solcher Systeme vor allem Menschen mit Seh­behinderung, aber wie man an Ent­wicklungen wie Closed Captions, Autokorrektur und Sprach­steue­rung gesehen hat, profitieren oft al­le von originär für Menschen mit Behinderung erfun­de­nen Techno­lo­gien«, erklärt Kai West Schlosser, Ju­nior Art Director bei Serviceplan.

»Mit unserem Konzept für Dot Incorporation gehen wir weg von den Braille-Interfaces und nutzen die innovativen Apple-Technologien, die uns seit dem iPhone 12 zur Verfügung stehen«, erklärt Junior Innovation Copywriter Shruti Subramanian und fährt fort: »Wir setzen auf den neuen LiDAR-Scanner in der iPhone-Kamera in Verbindung mit Computer Vision Models, um Objekte zu identifizieren, sowie auf Apples Kurzbefehle-App, um kleine, selbst programmierte Aktionen oder größere Aktionsgruppen auf dem Handy damit zu verknüpfen.« Die Kurzbefehle-App für iOS, iPadOS, macOS und watchOS ist seit 2019 auf sämtlichen Devices vorinstalliert. Dot Go schafft nun mit der Ob­jekt­datenbank die intelligente Verbindung zwischen LiDAR-Objekterkennung und den Kurzbefehlen.

Die App ist aber nicht nur smart, sondern auch intuitiv, denn die Designer setz­ten beim Interface ganz auf die hohen Standards und das gewohnte Apple-Design, sodass Dot Go im Wesentlichen der Kurzbe­fehle-App von Apple gleicht. Was den Usern und Use­rinnen dann zur Verfügung steht, ist ein großer Bau­kasten aus allen möglichen kleinen Aktionen, die Sound, Vibration, das Aufrufen einer Website, das Einschalten der Taschenlampe und vieles mehr am Smartphone auslösen können. Viele Aktionen sind vorkonfiguriert und lassen sich einfach über die Dot-Go-Plattform herunterladen und in der App hinterlegen. Zudem lässt sich die App über Siri bedienen, sodass sehbehinderte Menschen auch eigene Aktionen konfigurieren können.

Joggen ohne Augenlicht – mit NFC-Wearables

Die technische Umsetzung des Projekts und den digitalen Prototyp verantwortete das siebenköpfige Team des Digital Development Studios Hyperinteractive. »Der erste Prototyp war noch sehr ener­gie­intensiv und schaffte es binnen einer halben Stunde, den Akku leer zu saugen. Innerhalb von sechs Mo­naten konnten wir die Energieeffizienz um das Zehnfache erhöhen«, sagt Dieter Pries, Gründer und Geschäftsführer von Hyperinteractive.

Was den Energiebedarf ein wenig erhöht, dafür aber auch die Accessibility, ist die NFC-Funktiona­li­tät der App. Mit ihr lässt sich das Handy mittels Nah­feldkommunikation mit individuell programmier­ten NFC-Wearables wie beispielsweise einem Hemd ver­binden. Ein bekannter internationaler Sportherstel­ler plant zurzeit eine entsprechende T-Shirt-Kollektion. Zieht man es an, verbindet sich das Hemd mit dem Smartphone und startet automatisch einen bestimmten Modus mit diversen Presets, etwa einen Modus für Sport oder den täglichen Weg zur Arbeit.

»Dieser neue Ansatz, dass Nutzer:innen jedes Objekt mit jeder Aktion verbinden können, erschließt völlig neue Möglichkeiten für sehbehinderte Menschen, mit der Welt zu interagieren. Alles kann zugänglich werden«

Florian Beijers, Programmierer, Gelderland, Niederlande

Plattformansatz und Partnerschaften

Empowerment bietet Dot Go den Nutzenden zusätzlich durch eine Service- und Entwicklungsplattform, auf der sie neue Datensätze zur Objekterkennung und selbst programmierte Aktionen hinzufügen können, um sie anderen Userinnen und Usern zur Verfügung zu stellen. Shruthi Subramanian erklärt, wie davon auch Marken, Organisationen und Institutionen pro­fitie­ren können: »Eine Supermarktkette könnte eigene Presets erstellen und auf der Plattform teilen, um Kun­den mit Sehbehinderung das Einkaufen in einer Filiale zu erleichtern. Eine Sportmarke könnte NFC-Wearables mit Kurzbefehlen zum Lauftraining anbieten. Das ist viel kostengünstiger, als eine individuelle App zu entwickeln.«

Business- und Kooperationspartner sind essenziell für die Bekanntheit und Reichweite des Projekts. Für die Partnerakquise und Umsetzung von Projek­ten erhielt Dot Go kürzlich von der Interamerika­nischen Entwicklungsbank (IDB) eine Förderung in Höhe von über 120 000 Dollar. In Kooperation mit dem Start-up Wheel the World, einem Reiseservice für Menschen mit Handycap, entwickelt das Dot-Go-Team eine interaktive, assistierende Blindenreiseführer-App für La­teinamerika. »Unser Team arbeitet derzeit an der Optimierung der App für den App Store und an dem Pilotprojekt mit Wheel the World. Gemeinsam mit ihnen schaffen wir ein barrierefreies Reiseerlebnis für sehbehinderte Menschen«, so Dieter Pries.

Wir hoffen außerdem, dass sich rund um Dot Go eine starke Entwicklergemeinde bildet und dass vie­le Anwender:innen ihre Presets auf der Plattform tei­len. Mit dem Program­mierer Florian Beijers hat die App bereits einen sehr zufriedenen User und Unterstützer gefunden: »Die­ser neue Ansatz, dass Nut­ze­r:in­nen jedes Objekt mit jeder Aktion verbinden können, erschließt vollkom­men neue Möglichkei­ten für seh­behinderte Menschen, mit der Welt zu interagieren. Alles kann zugänglich werden.«

Was ist eine Dot-Go-Aktion?

Eine Aktion beruht auf dem Wenn-dann-Prinzip (zum Beispiel »Wenn Haltestellenschild, dann Ticketkauf«) und ist der Grundstein eines Kurzbefehls, also ein einzelner Schritt in einer größeren Aufgabe. Aktionen lassen sich zu Kurzbefehlen und den komplexeren sogenannten Presets kombinieren, die dann mit den Apps und Inhalten auf dem Smartphone (intern) oder mit Inhalten und Diensten im Internet (extern) interagieren. Dot Go verknüpft den LiDAR-Scanner im iPhone mit Googles Computer Vision Models und der vorinstallier­ten Kurzbefehle-App, sodass man bestimmten Objekten individuell pro­grammierte Aktionen zuordnen kann.

Was ist ein Computer Vision Model?

Ein Computer Vision Model ist eine Einheit, die anhand eines großen Bilddatensatzes für  Bildverarbeitungsaufgaben wie zum Beispiel die Objekterkennung trainiert wird. Jeder kann ein Modell auf einem beliebigen Bilddatensatz für seine Aufgaben trainieren. Es gibt unzählige Modelle für unterschiedlichste Aufgaben – von allgemeinen Aufgaben wie der Kennzeichnung von Objekten in der Umgebung bis hin zu sehr spezifischen wie der Erkennung von Hautkrebs. Die Fähigkeit des jeweiligen Modells hängt von der Art des Bilddatensatzes ab, auf dem es trainiert wurde.

Im Fall von Dot Go kommen Open-Source-Computer-Vision-Modelle von Google zum Einsatz, die auf neuesten Bilddatensätzen trainiert werden: Googles Vision Model für mobile Devices namens MobileNets beispielsweise trainiert auf den Bilddatenbanken ImageNet und COCO: ImageNet ist eine der ersten Computer-­Vision-Initiativen des MIT zum Aufbau einer großen Bilddatenbank, Microsoft COCO (Common Objects in Context) ist der am häufigsten verwendete Datensatz zur Er­kennung, Segmentierung und Beschriftung von Objekten und lässt sich auch für die ­komplexere Szenen­erkennung verwenden.