Vom Treiben der Flächen, Töne, Pixel und Farben
3D-Visualisierungen aus dem Ars Electronica Futurelab

' Ars Electronica Futurelab Ars Electronica Futurelab

Das Ars Electronica Futurelab hat 2004 mit der virtuellen Inszenierung von Richard Wagners Das Rheingold den ersten Meilenstein in einer Reihe von experimentellen Visualisierungen gesetzt, die neue Wege im Umgang mit klassischen Werken der Musik erschließen, indem Verknüpfungen zwischen der Musik und einem dreidimensionalen Bildraum hergestellt werden. Darauf aufbauend wurde im Folgejahr, erneut gemeinsam mit dem bildenden Künstler Johannes Deutsch, die II. Sinfonie von Gustav Mahler als interaktive Visualisierung im dreidimensionalen Raum realisiert. Mit der Bearbeitung von Igor Strawinskysk Le Sacre du Printemps in einer Verbindung von Tanzperformance, Bild- und Klangraum wird diese Reihe, gemeinsam mit dem Medienkünstler, Regisseur und Komponisten Klaus Obermaier, in diesem Jahr fortgesetzt.

Die Verbindung der Sinnesebenen von Ton und Bild scheint naturgegeben. Im Extremfall – aufgrund besonderer physiologischer Umstände oder auch drogeninduziert – verschmelzen Bild und Ton zu einem einzigen sinnlichen Ereignis. Es verwundert nicht, dass die sich daraus ergebende Vielfalt gestalterischer Möglichkeiten auch künstlerische Auseinandersetzungen provoziert. Einige Synästhetiker haben ihre Kompetenz kreativ genutzt, um daraus Neues, Visionäres zu schaffen. Musiker wie Franz Liszt vertonten Gemälde in Kompositionen, Vasilij Kandinsky malte Musik, die er sah. Dieser besonderen Begabung sind auch die ersten Apparate zu verdanken, die, allen voran Alexander Scarabins „clavier à lumière“, einen Einblick in die subjektiven Visionen, und damit ein intensiveres Erleben der Musik ermöglichen sollten. Alexander László versuchte in den 1920er Jahren mit seiner „Farblichtmusik“ eine „Kunst der Zukunft“ zu begründen und baute sein „Sonchromatoskop“ sukzessive zu einer regelrechten Multimedia-Infrastruktur aus.

Die Reihe der Ansätze, das Thema auch mit digitalen Mitteln zu bearbeiten, reicht unmittelbar bis zu den Anfängen der Computergrafik. Visuals zu jeder Gelegenheit sind heute längst Bestandteil der Alltagskultur. So ergibt sich ein breites Experimentierfeld vom mehr oder weniger beliebigen Farbenspiel bis hin zu den Versuchen, Töne und Musik wissenschaftlich exakt abzubilden. Aus der mehrjährigen Zusammenarbeit des Brucknerhaus Linz mit dem Ars Electronica Futurelab entwickelte sich das Vorhaben, an der Erforschung dieses Experimentierfelds teilzuhaben. Diese Kooperationen schaffen zunehmend Berührungspunkte zwischen dem traditionell ausgerichteten Brucknerfest und der Avantgarde der Ars Electronica. Wolfgang Winkler, künstlerischer Leiter des Brucknerhauses, wandte sich an das Ars Electronica Futurelab mit der Idee, klassische Aufführungen mit dreidimensionalen Bildwelten zu verbinden. Das Team des Futurelab unter Horst Hörtner entwickelte daraufhin die Grundzüge eines Interaktionsdesigns für diese neue Aufführungsform.

Die Visualisierungen des Ars Electronica Futurelab stützen sich nicht unmittelbar auf die Erfahrungen der Synästhetiker und stellen auch keinen Versuch dar, von einer in die andere Sinneswahrnehmung zu übersetzen. Vielmehr stellt das Medienlabor einen audiovisuellen Fusionsraum her, der neue Verknüpfungspunkte zwischen der Komposition, der Interpretation des Dirigenten, der Musiker und den Interpretationen von Künstlern unterschiedlicher Disziplinen schafft.

Für Das Rheingold wurden unterschiedliche, vom Ars Electronica Futurelab entwickelte künstlerische Ansätze und technologische Lösungen kombiniert, modifiziert, aufeinander abgestimmt und weiterentwickelt. Das Team hatte in dem mehr als einjährigen Prozess ein Instrumentarium geschafften, das sich dazu eignet, die Musik zu „hören“ und die Modulationen der Signale nach gestalterischen Kriterien auszulegen. Die Verknüpfung von Technologie-Entwicklung mit dem Konzept für eine multimediale Klangraum-Visualisierung erschließt auf diese Weise neue Modi der Gestaltung und schafft neue Zugänge der Rezeption klassischer Kompositionen.

Richard Wagners Werke waren teilweise geprägt von Lichtmystik. Er hatte konkrete Vorstellungen von den Bildern, die das Publikum in die germanische Mythenwelt versetzen sollten, und vielen dieser Vorstellungen wird, einer Art Ritus folgend, bis heute in den Inszenierungen der Wagner Opern gehuldigt. Auch die Visualisierung von Johannes Deutsch und dem Ars Electronica Futurelab folgte der vom Verfasser vorgegebenen Handlung und bot die Möglichkeit der Identifikation mit den Charakteren. Durch die stereoskopische Projektion und die die Zuschauer umspannende Leinwand fand sich das Publikum, anstatt auf eine Bühne zu blicken, inmitten des Geschehens wieder. Die Bilder füllten ebenso wie der Klang den Raum. Durch die Kopplung der virtuellen Welt mit den Instrumenten und den Singstimmen nahmen die Bilder Eigenschaften des Klanges an. Dadurch ließ sich die emotionale Wirkung verstärken, und ein neues immersives Erleben des klassischen Stoffs wurde möglich.

Die für Das Rheingold geleisteten Entwicklungen bildeten die Basis für ein weiteres Musikvisualisierungsprojekt, der Auferstehungssymphonie von Gustav Mahler.
Den Rahmen hierfür bildete ein Festkonzert als Auftakt des Jubiläumsjahres zum 50-jährigen Bestehen des Westdeutschen Rundfunks. Unter der Leitung von Semyon Bychkov wurde das Ereignis in der Kölner Philharmonie aufgeführt und auch live im Fernsehen übertragen.

Lieferte für die virtuelle Inszenierung von Das Rheingold das Libretto eine Grundlage, so musste hier ein anderer Weg verfolgt werden. Die Elemente der Sinfonie sind zwar mit Bedeutungen aufgeladen, Verläufe sind identifizierbar, aber das visuelle Abbild des Klangraumes kann bzw. soll nicht konkreter werden als das, was die Musik aussagt.
Für das Team des Ars Electronica Futurelab stellte sich die Aufgabe, in die von Johannes Deutsch assoziierte Bildwelt einzutauchen und mit den Möglichkeiten der Computergrafik eine Analogie zu finden. Johannes Deutsch hatte das Musikstück einer eingehenden Analyse unterzogen und mit 18 Objekten einen dramaturgischen Rahmen für die visuelle Umsetzung skizziert. Die Audiosignale wurden nach entsprechenden Gesichtspunkten analysiert und mit einer visuellen Darstellung verknüpft. Sie beeinflussten sowohl einzelne Elemente als auch die Gesamtinszenierung und führten zu einer Verbindung von der mit dem Spiel der Musiker synchronisierten Modulation des Raumbildes und den spontanen Reaktionen der Visualisierung auf ausgewählte Klangereignisse.

Für die Ausführung der Arbeit wurde ein Verfahren entwickelt, mit dem die virtuelle Welt schrittweise in das Klangbild hineinmodelliert werden konnte. Hierzu wurde die Sinfonie im Vorfeld mit 48 Sensoren und ebenso vielen Kanalspuren aufgenommen. Anhand dieser Aufnahme konnten bei der Produktion jene Impulse simuliert werden, die auch bei der Aufführung auf die Bilder einwirken würden. So konnten die grafischen Elemente über einen Editor Schritt für Schritt nach dem musikalischen Eindruck ausformuliert werden. Die Grafik basiert einerseits auf den 18 von Johannes Deutsch angefertigten Skulpturen, die das Ars Electronica Futurelab als 3D-Modelle umsetzte, und auf funktionalen grafischen Elementen, mit denen die digitale Raumkonstruktion erschlossen wird. Die Verbindung des Bildes mit der Musik im Saal erforderte zudem die Entwicklung eines Interaktionsvokabulars, nach dem die musikalischen Impulse vom Computer interpretiert und in Echtzeit in die visuellen Darstellungen einfließen konnten. Schließlich wurden die Gestaltungselemente mithilfe der Softwarebausteine zur Gesamtvisualisierung zusammengesetzt, die Verknüpfungen hergestellt und die visuellen Eindrücke an die Klangereignisse angepasst. Die Grundlage bildete dabei stets die musikalische Vorlage Mahlers.

Text: Pascal Maresch