|
Architexture
computer-generated pneumatic biogrids
' Supreme Particles
Supreme Particles
ZIEL Durch die architektonische + technologische Anordnung wird der Betrachter mit einer variablen, pneumatisch-akustischen Leinwand konfrontiert, wobei sowohl visuelle und akustische als auch räumliche Wahrnehmung angesprochen werden. Die Leinwand selbst verhält sich, als hätte sie eine Intelligenz, d.h. sie besitzt eine Vergangenheit und eine Zukunft.
KEYWORDS MIDI, Digital Signal Processing (DSP), 3D-Sound, Soundmorphing, Soundmapping, Fourier Transformation, Filter, Virtual Reality (VR), Multimedia, Solaris (S. Lem), Plasma, Genetische Algorithmen, Organische Veränderungen
BESCHREIBUNG Architexture ist eine interaktive Bild/Klang/Raum-Installation mit Realtime-Computerbildern und Realtime-Soundprocessing.AUFBAU In der Mitte des Raumes befindet sich eine variable, pneumatisch-akustische Leinwand, d.h. über eine Lautsprechermatrix wird eine variable Gummihaut gespannt, die über pneumatische Luftzufuhr gesteuert werden kann. Vor der Projektionswand befindet sich eine Bodengrafik: eine Zielscheibe, ein Kreis – das Zentrum der Aktion und Interaktion.INTERAKTION 1. Das Bild und die pneumatische Leinwand: Der Betrachter, der in das Fadenkreuz der Bodengrafik tritt, wird mit Hilfe einer Infrarotkamera 'abgescannt' und nun selbst Teil der pneumatischen Skulptur: seine Bilddaten und Bewegungskoordinaten werden als akustische und topografische Informationen auf der Leinwand wiedergegeben – d.h. durch Einsatz einer Infrarotkamera und von Richtmikrofonen wird der Raum vor der Leinwand nach folgenden Kriterien analysiert:- relative Bewegungsänderungen des Betrachters
- Geschichte (History) der Bewegungsänderungen
- erzeugter Schall des Betrachters
- Geschichte (History) des Schalls
Danach werden diese Informationen von einem Steuercomputer analysiert und in Impulse umgesetzt, die per Pneumatik die Wand steuern und über die Lautsprechermatrix organisch interpolierten Sound abgeben (history buffered soundmapping). Gleichzeitig wird ein in Echtzeit vom Grafikcomputer generiertes Bild auf die Leinwand projiziert, das wiederum vom Geschehen im Raum abhängt (organisches plasmatisches Spiegelbild). Die Installation ARCHITEXTURE vereinigt also Bild, Bewegung, Ton und Raum zu einer organischen Skulptur.
2. Bewegung, Sprache & Ton: Der Betrachter steht nun vor seinem eigenen, über die Auflösung der variablen Leinwand reproduziertem Abbild. Um sich selber wiederzuerkennen, beginnt er sich zu bewegen, er reckt den Arm, er dreht sich, beugt sich – das Bild in der Projektion reagiert entsprechend. Zur Körpersprache kommt hier jedoch hörbare Sprache hinzu: Ein Mikrophon registriert alle im Raum gesprochenen Worte und Geräusche, sie werden aufgelöst in Klangeinheiten und gespeichert. Die gespeicherten Satz- und Wortfragmente werden vom Computer zu einer künstlichen Sprachmelodie interpoliert, Diese simulierte Sprache wird über ein 3D Soundsystem wiedergegeben. Schließlich erwacht das künstliche Wesen der pneumatischen Skulptur aus seiner nachahmenden Passivität und folgt nicht mehr nur seinem Vorbild. Fast so, als hätten sich die Dimensionen verschoben, als würde der Rezipient zum Spiegelbild, bewegt sich das pneumatische Spiegelbild selbstständig, 'spricht' zum Betrachter, fordert auf nachzuahmen. Plötzlich reagiert die Installation nicht mehr bloß auf den Rezipienten, der Vorgang kehrt sich um, die Installation 'spielt' mit ihm, macht ihn zu ihresgleichen, macht ihn zum variablen Spiegelbild.INVENTION Die (softwaretechnische) Implementation einer gehirnähnlichen Struktur in der Zeitachse wird die Interaktion zwischen Betrachter und Computer von ihrer üblichen 1:1 Umsetzung befreien. Das Programm legt also eine Art History an, um Rückschlüsse aus der Vergangenheit des Systems für das zukünftige Verhalten des Systems zu ziehen (Extrapolation). Dieses Gehirn selbst ist in seiner Art "destruktiv' angelegt, d.h. der Computer ist in der Lage, zu vergessen und überflüssige Informationen durch sinnvolle zu ersetzen.SOFTWARE Sämtliche Funktionen sind darauf ausgelegt, organisches Verhalten zwischen Audiodaten, digitalen Bildern und dreidimensionalen Koordinaten zu erzeugen. Hierbei können sämtliche Module miteinander verknüpft werden, d.h Funktionen können z.B. gleichzeitig Audiosamples und 3D-Objekte verarbeiten. Die zweidimensionalen Video-Vorlagen werden durch software-definierte Regeln in den dreidimensionalen Raum transformiert, Durch dieses Prinzip wird eine zusätzliche Raum-Zeit-Dimension eingeführt, sozusagen eine Topografie des Bildes. Nicht mehr die Abfolge ähnlicher Bilder in der Zeit ist hier von Bedeutung, sondern die Menge der möglichen Metamorphosen in dieser bildinternen Raum-Zeit-Komponente. Diese Anreicherung der jeweiligen Bilder mit einer weiteren Dimension, verbunden mit einer beliebigen Zeitdehnung, ermöglicht es, die eigentliche Bildinformation von ihrem statischen Zustand zu befreien und in Zustände größerer oder kleinerer Komplexität überzuführen. Die zusätzliche Vererbung von externer Information (z.B. aus dem Audiobereich in den Bildbereich) erlaubt es, den Informationsfluß durch bildfremde Parameter zu steuern.METHODEN DER SOFTWARE Übergang von Ordnung zu Chaos / Bewegung:- Gravitation, molekulare Dynamik
- Random Walk, Drunken Fly, Würmer …
- chemische Diffusionsvorgänge, Anlagerungsprozesse
- Life Algorithmen
- Überführung von 2D nach 3D (DwarfMorph)
- Soundspezifische Parameter
- Veränderung von Bildelementen im Farbraum
Erzeugung von SubPatterns / SubStrukturen:- Partikularisierung von Bildern in 2D Objekte
- Partikularisierung von Bildern in 3D Objekte
- Umwandlung von Bildern in Grids (Texturemapping)
- Veränderung von Material- und Textureparametern
- Painteffekte
- 2D/3D Warping (Verzerrung)
Anwendung von Digital Signal Processing (DSP)auf 3D Körper, auf 2D Bilder
auf Sound
auf Raum-Koordinaten / Bewegungen in der ZeitSoundspezifische Steuerungen:- Steuerung von molekularen Bewegungen durch Sound
- Mapping von Audiosignalen auf 3D-Objekte
- Generierung von Formen und Verhaltensmustern, abhängig von Frequenzen, Amplituden …
- Soundgesteuertes Digital Image Processing
Soundspezifische Parameter:- Amplitude
- Frequenz / Frequenzbänder
- Hüllkurven als Timelines
- Abweichungen, Durchschnitt, Minimum, Maximum …
Soundgeneration- Übertragung von 3D-Koordinaten auf MIDI-Parameter (Tonhöhe, Lautstärke … )
- Übertragung von 3D-Koordinaten auf 3D Lautsprecher-Matrix
- Umrechnung von 3D-Koordinaten in Hüllkurven/ Envelopes
- Skalierung von Bewegungspfaden
Metamorphose / Interpolationvon dreidimensionalen Formen
von Klängen (Soundmorph)
von zweidimensionalen Bildern (Morph)
durch fraktale Algorithmen – durch Gravitation, Magnetismus …SUPREME PARTICLES Anna Bickler – Frankfurt, Institut für Neue Medien (Video)
Stefan Karp – Frankfurt (Architektur)
Gideon May – Amsterdam (Software)
Paul Modler – Berlin (DSP-Programming, Sounds)
Michael Saup – Frankfurt, Institut für Neue Medien (Software, Audio)
Rolf van Widenfekt – Mountainview (Software, Consultant)
SPONSOREN
ArSciMed, Paris
boso, Fabrik medizinischer Apparate, Jungingen Silicon Graphics GmbH
Städelschule – Institut für Neue Medien, Frankfurt
Steinberg Research, Hamburg
X94, Akademie der Künste, Berlin
|
