Nach dem Pilotprojekt „Das Rheingold – Visionized“ hat das Ars Electronica Futurelab zusammen mit dem Künstler Johannes Deutsch Gustav Mahlers Sinfonie Nr. 2 c-moll als interaktive Visualisierung im dreidimensionalen Raum umgesetzt. Die Premiere am 01. Januar 2006 im Auftrag des WDR (Westdeutscher Rundfunk) zum Start von dessen 50. Jubiläumsjahr in der Kölner Philharmonie überzeugte als visionäre Aufführungspraxis in einer neuen Dimension. Für die Live-Übertragung im Fernsehen wurde für den WDR ein Konzept erarbeitet, in dem sich das interaktive Environment über vier virtuelle Kameras erschließt.

Bei der Visionized-Version der Auferstehungssinfonie wird eine dreidimensionale virtuelle Bildwelt inszeniert, die mit der im Saal erzeugten Klangwelt in Verbindung steht.

Auf kaum erschlossenem Experimentierfeld in der Verbindung künstlerischer und computertechnischer Ansätze, wird das klassische Werk Mahlers neu gelesen und interpretiert. Das Wagnis der Visualisierung liegt in der innovativen Zusammenführung verschiedener Kunstgattungen in einem neuen Inszenierungskonzept, das die musikalische Komposition im dreidimensionalen Raum visuell umsetzt. Die auf den Entwürfen des Wiener Künstlers Johannes Deutsch basierende Bildwelt wurde mithilfe von Softwareentwicklungen des Ars Electronica Futurelab interpretiert und für die Darstellung im dreidimensionalen Raum adaptiert. Johannes Deutsch hatte das Musikstück einer eingehenden Analyse unterzogen und mit 18 Objekten einen Inhaltlichen Rahmen für die visuelle Umsetzung ausgeführt. Die Gestaltungsideen für die dramaturgischen Transformationen der 3D-Elemente und der Gesamtinszenierung übersetzen das Thema der Auferstehungssinfonie in ein ästhetisches Spiel dynamischer Form- und Farbkompositionen, die eine eigene visuelle Sprache transportieren. Die Verknüpfung von Technologie-Entwicklung (Audio-Analyse, 3D-Grafik, virtuelle Kamera) mit dem Konzept für eine multimediale Klangraum-Visualisierung erschließt so neue Modi der Gestaltung und Rezeption von klassischen Werken und schafft neue Zugänge.

Verbindung von virtueller Umgebung und Klangraum

Das Interaktionskonzept zur Verbindung des virtuellen Raums mit dem Klangraum im Konzertsaal ermöglicht eine computergestützte Interpretation der musikalischen Impulse, die in Echtzeit über 48 Kanäle in die visuelle Darstellung einfließen können. Audiosignale werden nach unterschiedlichen Gesichtspunkten analysiert und mit der visuellen Darstellung verknüpft. Sie beeinflussen sowohl einzelne Elemente als auch die Gesamtinszenierung und führen zu einer Verbindung von der mit dem Spiel der Musiker synchronisierten Modulation des Raumbildes und spontanen Reaktionen der Visualisierung auf ausgewählte Klangereignisse.

Aufführungspraxis "Visionized"

Das Ergebnis ist eine visionäre Aufführungspraxis, die, so auch Kölns Oberbürgermeister Fritz Schramma, in "eine neue Dimension der Musik und der optischen Wahrnehmung" führt. Durch tereoskopische Projektion werden die Bilder in einem dreidimensionalen virtuellen Raum umgesetzt, der sich mit dem realen Raum des Konzertsaals überlagert und das Publikum umhüllt. So entsteht der visuelle Eindruck, dass sich die Gestaltungselemente frei im Raum bewegen und verschiedenste räumliche Perspektiven und Dimensionen – von unmittelbarer Nähe bis scheinbar unendliche Weite – ein- bzw. wahrgenommen werden können. Für das Fernseh-Publikum ermöglicht die Ausnutzung des Pulfrich-Effekts ebenfalls die dreidimensionale Wirkung der Inszenierung.

Intelligente Technologien

Für die Fernsehübertragung wird die künstlichen Umgebung durch eine „virtuelle Kamera“ erschlossen. Sie ist eine der technologischen Innovationen, die das Ars Electronica Futuralab für das Projekt realisiert hat. Sie ermöglicht, den fixierten Standpunkt des Publikums zu verlassen und durch die digital konstruierte Welt zu navigieren. Als „intelligente Kamera“ passt sie sich selbsttätig an die Gestaltungskriterien der Visualisierung an und kann für die Erzeugung des Pulfrich-Effekts über das Fernsehbild genutzt werden.

Schon für „Das Rheingold - Visionized“ wurden unterschiedliche, vom Ars Electronica Futurelab entwickelte Technologien kombiniert, modifiziert, aufeinander abgestimmt und weiterentwickelt. So hatten Spezialisten in einem mehr als einjährigen Prozess ein Computersystem ‚lernen’ lassen, die Musik zu ‚hören’ und die Modulationen der Signale nach gestalterischen Kriterien auszulegen. Das Beschreiten neuer Wege im Folgeprojekt hat wiederum zu neuen technologischen Innovationen und Softwarelösungen geführt.