|
HYENA DAYS
'Michael Saup
Michael Saup
/
'Steina Vasulka
Steina Vasulka
(BURST MODE VERSION)
MIDI-GESTEUERTE UND -KONTROLLIERTE BILDERZEUGUNG Mitwirkende: Steina Vasulka, Violine;
Michael Saup, Gitarre
Durch die Umwandlung akustischer Signale von analog zu digital und einer anschließenden Interpretation dieser Meßwerte, wird es den Musikern ermöglicht, mit ihren Instrumenten bildgenerierende elektronische Geräte, wie z.B. 3D-GrafikWorkstations, Laserdisk-Player oder Harddisk-Rekorder anzusteuern und somit akustische Ereignisse in variable visuelle Erlebnisse umzusetzen.
Hierbei werden die akustischen Ausgangssignale während der A/D-Wandlung analysiert und durch einen Steuercomputer interpretiert, der daraufhin algorithmische Entscheidungen trifft und weitere Geräte steuert:- über MIDI-Impulse werden verschiedene klangerzeugende Maschinen, wie Sampler, Effektprozessoren und Mischpulte kontrolliert.
- über die parallele Schnittstelle wird ein Laserdiskplayer und über RS232 eine Workstation mit Steuerimpulsen versorgt, so daß diese Geräte auf die Interaktionen der Musiker reagieren.Die ausführenden Musiker haben so die Möglichkeit, die verschiedensten akustischen Parameter, wie Tonhöhe oder Lautstärke, als Ausgangsimpulse für eine visuelle Choreografie einzusetzen.Die so erzeugten Bilder werden dann über einen Videobildmischer auf Videomonitoren dargestellt.
MANIPULATING EDITLISTS Mein erster Schritt, Videobilder durch Musik oder Audiosignale zu kontrollieren, war das Computerprogramm XTRA.TRAX aus dem Jahre 1989/90, das Standard Midi Files (ein hexadezimales Format, das die meisten Software-Sequencer im- und exportieren können) in Editlists für einen SONY 910-Videoeditor umwandeln konnte. Frequenzverläufe der Musik konnten durch Dynamic Motion Control eines Betacam SP-Videorekorders simuliert werden, und Lautstärken durch die Saturation des Videobildes via Bildmischer. Dieses Programm ermöglichte die schnelle, automatisierte Umsetzung eines Musikstücks in Videobilder. Das Programm konnte die verschiedensten Parameter, wie Bildauswahl, Transitions, Wipes etc. umsetzen. Durch die getrennte Übersetzung einzelner Tracks wie z.B. bassdrum, violin, piano etc. konnten die erzeugten Track-Schnittsequenzen nachher mit einem "Harry" wieder synchron zusammenmontiert werden. Gleichzeitig generierte das Programm eine Umsetzung des analysierten Standard Midi Files in ein 3D-Wavefront-Modell, das synchron zur Musik animiert werden konnte.
Nachteile dieses Systems waren die nicht interaktive Abarbeitung der Midi Standard Files, die Vorteile das überaus schnelle und menschlich kaum nachvollziehbare Erzeugen von komplexen Musik-Bildstrukturen.
Die Hintergrundaufnahmen für "TILT IT" wurden durch das Verfahren a) hergestellt und mit einer 3D-Computeranimation überlagert. Diese Animation basiert auf der Videoaufnahme eines Gitarrensolos. Der A/D-gewandelte Ton der Gitarre wurde durch ein C-Computerprogramm in ein 3D-Objekt umgerechnet und auf einer Silicon Graphics Personal Iris mit Wavefront-Software animiert. Hierbei wurden alle Original-Video-Frames Bild für Bild als Reflection Map auf das 3D-Objekt projiziert. Somit ist die erzeugte Computeranimation die gleichzeitige Repräsentation des Ausgangsbildes und des Ausgangstons. In der Video-Nachbearbeitung wurde die geänderte Animation wieder mit dem Originalton synchronisiert. Eine zukünftige Version von TILT IT wird in Kooperation mit Frank Zappa und Mark Dippe von Industrial Light & Magic, San Rafael realisiert werden.INTERAKTIVE INSTRUMENTE Der nächste Gedanke war, ein Instrument zu bauen, das gleichzeitig Klänge und Bilder generieren konnte. So entstand die Installation Paula Chimes, die 1991 auf dem 4. Europäischen Medienkunst Festival in Osnabrück präsentiert wurde. Die durch Berührung oder Wind ausgelöste Bewegung von 16 Stahlröhren wurde durch sogenannte Dehnungsmeßstreifen (DMS) aus dem Bereich der industriellen Meßwerterfassung analysiert und durch ein spezielles Verstärkungsverfahren mit anschließender A/D Wandlung durch einen Computer interpretiert. Die so gewonnenen Daten wurden durch Skalierung in MIDI-Impulse für einen AKAI Sl000 Sampler umgewandelt und somit auch in Klangereignisse.
Parallel dazu erzeugte ein Silicon Graphics VGX-Computer eine räumliche Verfremdung eines Video-Stillframes. Die Position jeder Stahlröhre hatte eine entsprechende XY-Koordinate auf einer Monitorabbildung einer Zellteilung (Meiose). Durch Bewegung einer Röhre wurde nun an dieser jeweils zugeordneten XY-Koordinate eine physikalische Wellenbewegung des Monitorbildes durch Realtime-Texturemapping ausgelöst. Die so erzeugten akustischen und visuellen Signale stellten also immer den Zustand der Röhren in der Zeit dar. Ein zweiter Monitor zeigte dieses serielle Informationskodierungsprinzip, das ja auch in seiner Urform als Meioseabbildung vorlag, in Form einer mathematischen Partitur.
Das 3D-Wellen-Programm wurde von Bob O'Kane realisiert, einem Kollegen aus dem Institut für Neue Medien, Frankfurt. Das Verstärkerinterface wurde von Dieter Sellin (IfNM) und das Stahlobjekt von Stefan Karp und Kai Guse gebaut.AUSBLICK Sämtliche genannten Techniken kommen bei der Aufführung des interaktiven Konzertes HYENA DAYS zum Einsatz. Hierfür werden spezielle Gitarren entwickelt, die eine größere Bandbreite an Signalen zur Verfügung stellen. Weiterhin werde ich in Zukunft medizinische Sensoren, wie Blutdruckmeßgeräte, EEG oder Eye-Tracking-Systeme in den bestehenden Aufbau implementieren, um den Musikern einen möglichst großen Spielraum mit musikalischen Parametern einzuräumen.
| 
