Messa di Voce
Visualisierte Sprache und Gesang – eine Performance

'Jaap Blonk Jaap Blonk / 'Joan La Barbara Joan La Barbara / ' Tmema Tmema

Messa di Voce ist eine neue Konzertform, bei der zwei Experimentalvokalisten sprechen, schreien, bellen und singen und diese Laute in Echtzeit per interaktiver Visualisierungssoftware augmentiert werden. Eingebettet in eine elaborierte, verspielt virtuose audiovisuelle Erzählung, behandelt die 40-minütige Performance Themen wie abstrakte Kommunikation, synästhetische Beziehungen, Comic-Sprache sowie Zeichen- und Notationssysteme.

Bei Messa di Voce verschwimmen die Grenzen zwischen menschlicher und technischer Leistungsfähigkeit. Hier verschmelzen die unvorhersehbare Spontaneität und die bravouröse Stimmtechnik zweier Meisterkomponisten/-improvisatoren mit den allerneuesten Computertechnologien im Bereich der Bild- und Spracherkennung. Völlig wortlos und doch zutiefst verbal, soll Messa di Voce zum Nachdenken über Sinn und Wirkung von Sprachklängen bzw. Sprechakten und die immersive Atmosphäre unserer Sprache anregen.

Bild- und Spracherkennung sind die Kerntechniken, die die Performance tragen. Ein mit einer Kamera ausgestatteter Computer verfolgt die Bewegungen der Vokalisten und analysiert gleichzeitig die per Funkmikrofon übertragenen Sprachlaute und Gesänge. Als Reaktion projiziert der Computer unterschiedlichste Bildkompositionen auf eine Leinwand hinter den Sängern. Diese Bilder werden als direkter Response auf die gesprochenen und gesungenen Klänge synthetisiert. Dank eines ausgefeilten Trackingsystems scheinen der Kopf oder Mund der Sänger diese Bilder selbst zu projizieren. Sofern möglich, werden stereografische Projektionen eingesetzt, um die Illusion zu verstärken, dass diese Vokaldarstellungen im selben Raum wie die Sänger schweben. Das Ergebnis ist die Fiktion einer in der Tat sichtbaren Sprache.

Messa di Voce ist eine Weiterentwicklung zweier Auftragsarbeiten, die Golan Levin und Zachary Lieberman als Artists-in-Residence für das Ars Electronica Futurelab entwickelt haben. In den Monaten Juli und August 2002 haben wir für das Ars Electronica Center die Installationen RE:MARK und The Hidden Worlds of Noise and Voice geschaffen. Diese Arbeiten vereinten hochmoderne Spracherkennung (u. a. Stimmstressanalyse, Tonhöhen- und Echtzeit-Phonemerkennung) mit optischem Motion-Tracking, Augmented-Reality-Displays und anderen sensorischen Technologien. Damit ist der Museumsbesucher in der Lage, sich vokal und emotional mit verschiedensten sensibel reagierenden Sprachvisualisierungen auseinanderzusetzen. So können z. B. die Protagonisten in den Hidden Worlds die Stimmen der anderen, die mittels Stereo-VR-Brillen sichtbar gemacht werden, als animierte grafische Darstellungen aus dem Mund des jeweiligen Sprechers strömen „sehen“.

Für Messa di Voce haben wir aus diesen Kerntechnologien eine „Professional“-Version entwickelt und auf das Gesangsduo Joan La Barbara (USA) und Jaap Blonk (Holland) zugeschnitten. Beide sind für ihr experimentelles Repertoire und ihre exzellente Stimmtechnik bekannt. In Messa di Voce führen Joan und Jaap abstrakte Dialoge mit sich selbst und miteinander. Die visuelle Darstellung ihrer Sprache und ihres Gesangs wird in Echtzeit errechnet, mittels Computeralgorithmus passend um ihre Köpfe und Körper positioniert und auf eine Reihe von nebeneinander angeordneten Leinwänden projiziert.

Die Projektionen „erkennen“ sowohl die Position der Sänger als auch die Form der übrigen visuellen Darstellungen. Somit können die Protagonisten / Interagierenden mit ihren Sprach-Gebärden „spielen“. Im Verlauf der Performance werden immer bessere Spracherkennungsmethoden eingesetzt, wodurch sich die Erzählung von rein formaler Abstraktion hin zu symbolischer Darstellung und Transkription entwickelt.

Aus dem Amerikanischen von Michael Kaufmann

Tmema sind Golan Levin und Zachary Lieberman.
Commissioned by Ars Electronica with the support of SAP, la Fondation Daniel Langlois pour l’art, la science et la technologie, Eyebeam Atelier, The Rockefeller MAP Fund, and the Arts Council England.