Speakatron: Innovation mit openFrameworks

Speakatron trackt per Gesichtserkennung, Formenerkennung und spatialen Koordinaten über die Webcam, ob der User den Mund öffnet und reichert das Videobild in Echtzeit mit Sprechblasen an.

Entwickelt wurde die Anwendung von Mark Bereza mit openFrameworks, opencv und libzengarden anlässlich des Music Hack Days. Speakatron ermittelt über die Webcam nicht nur das Gesicht des Users, sondern auch seine Form und ermittelt daraus die spatialen Koordinaten, wann genau der User seinen Mund öffnet wenn er spricht. Über diese Verortungen werden virtuelle Luftblasen generiert und als Augmented Reality dem Videobild der Webcam angereichert, so dass sie aus dem geöffneten Mund des Users zu blubbern scheinen. Gleichzeitig werden mehrere Sounds abgespielt. Über die Tastatur lassen sich verschiedene Soundskalen auswählen.

Speakatron ist eine Anwendung für OSX ist und auf der Seite des Programmierers herunterladbar, parallel ist auch der Sourcecode dazu erhältlich.