Sketchsynth: Regler auf Papier

Einen Synthesizer nur mit Symbolen auf einem Blatt Papier zu steuern, das hat der Informatik-Student Billy Keyes in seiner Abschlussarbeit möglich gemacht. Dahinter steckt ein schlichtes Setup aus Kamera, Pico-Projektor und Software.

Drei Symbole erkennt die Software SketchSynth des amerikanischen Studenten Billy Keyes von der renommierten Carnegie Mellon University: Einen Schieberegler, einen Druckknopf und einen Ein-/Aus-Schalter. Als Benutzerschnittstelle dient eine Kombination aus einer simplen USB-Kamera und einem Pico-Projektor, die über der Arbeitsfläche platziert sind.

Zeichnet man nun die Symbole auf ein Blatt Papier, so wertet die Software SketchSynth zunächst die Symbole aus und lässt dann die erkannten Funktionen zurück aufs Papier projizieren. Der Projektor übermittelt dabei auch Informationen, in welchem Zustand sich der jeweilige Regler gerade befindet.

Im Abspielmodus erfasst die Software dann die Bewegungen der Hand und vollzieht nach, welcher Schalter gerade bewegt wurde. Keyes verband das Setup in seiner Arbeit mit einem Synthesizer, aber auch andere Anwendungen sind denkbar.

Technische Grundlage waren openFrameworks mit dem Addon ofxCv, Open Sound Control (OSC) und die Echtzeitgrafik Programmierumgebung Pure Data.