Ob in Filmen, Games, Messenger-Apps oder Spotify-Lyrics: Untertitel sind visuell in der Regel nichtssagend. Mit Phont könnte sich das bald ändern, die Anwendung verbindet KI-gestützte Sprachanalyse mit Typografie und erweckt Untertitel so zum Leben
Es war einer der letzten Abende, an dem Frederik Merkel sich mit seinen Kommiliton:innen in einer Bar treffen konnte. Dann kam die zweite Welle Corona und der Rest seines Masterstudiums Gutenberg Intermedia an der Hochschule Mainz verlief online. In dieser Runde, in der zahlreiche Akzente und Dialekte vertreten waren, fragte sich der Designer, wie dieses vielfältige Stimmengewirr wohl als Schrift aussehen würden.
Das Thema Synästhesie, also die Kopplung verschiedener Sinneskanäle, erschien Frederik Merkel als sinnvoller Brückenschlag zwischen gesprochener Sprache und Typografie. Das Thema seiner Masterarbeit »A Synaesthetic approach to phonetics in type« war damit gefunden, der Grundstein zur Anwendung Phont gelegt.
Eine Stimme wird von vielen verschiedenen Attributen beeinflusst – konstanten und temporären. Im Idealfall würden alle diese Attribute in die Gestaltung der Untertitel einfließen.
Die Idee: Untertitel so vielfältig wie die Sprache
»Text stellt Sprache dar, vermittelt aber oft nur Inhalte«, sagt Frederik Merkel, der auch ein echter Film-Nerd ist. »Bei der Umwandlung von gesprochener Sprache in Text gehen wichtige Informationen wie Emotionen, Landessprachen oder Stimmmerkmale verloren.« Mittels KI-basierter Sprachanalyse, so seine Idee, sollten Emotionen Einzug in Untertitel halten und diese so lebendig und vielfältig werden wie die Sprache selbst.
TEAM Frederik Merkel, Paul Leo Langendörfer, Marcello Eiermann und Katharina Gresch, Frankfurt am Main, https://phont.ai
PROJEKT Entwicklung der Software Phont zur typografischen Darstellung von Sprache
LÖSUNG Eine selbst entwickelte KI analysiert gesprochene Sprache auf Emotionen und setzt diese in eine entsprechende typografische Darstellung um. So werden Untertitel lebendig und inklusiv.
TOOLS Eigene KI-Entwicklung zur Speech Emotion Recognition, Software für Parametric Design, Whisper, ChatGPT, Glyphs, Notion, After Effects
ZEITRAUM Thesis: Anfang 2022, Projektstart: Juni 2023, Phont-Gründung: November 2023
So geht's weiter
KI zur sprachlichen Emotionserkennung
Typografische Interpretation: Laut ist gleich fett
Designparameter für Untertitel: Testen, testen, testen
