Der Sound von einer Hand


'Jaron Lanier Jaron Lanier

Ich habe erst einen Monat vor der Aufführung mit dem Entwerfen der Virtuellen Welt von "The Sound of One Hand" begonnen, hatte auch nur soviel Zeit, sie spielen zu lernen, mußte mich also total in den Entstehungsprozeß versenken.

Eigentlich dachte ich, das Stück würde zu einer ausgefeilten VR (Virtual Reality)-"Demo", oder Erklärung, mit klar sichtbaren Einsätzen für die Musik, leicht zu handhabenden Interfaces und einem Haufen lustiger Rube Goldberg-Tricks. Aber als ich an der "Welt" arbeitete, kam eine Stimmung auf, irgendeine Essenz, was ziemlich mit meiner Gefühlslage oder spirituellen Erfahrung zu der Zeit zusammenhing. Das kam unerwartet und war aufregend, auch wenn es um nichts Fröhliches ging. Jedenfalls lief ein dunklerer, mehr intuitiver Prozeß in mir ab, anstatt mich der üblichen Computerkultur mit ihrer Geordnetheit und ihrem Witz einzufügen. Es hat nur wenige Augenblicke gegeben, in denen ich das Gefühl hatte, in einer intuitiven Weise zu programmieren. Das war einer davon. Erwarte von den Instrumenten nicht, daß sie unmittelbar verständlich oder einfach zu spielen sind. Sie entstammen einem schöpferischen Prozeß, den ich nicht völlig erklären kann und ich mußte erst lernen, sie zu spielen. Ich denke nicht, daß die beiden Ästhetiken, die ich unterscheide, sich gegenseitig ausschließen müssen. Aber der intuitive Anteil der Gleichung kann nicht per Knopfdruck erzwungen werden. Eine Synthese von Klarheit und Stimmung kommt, wenn überhaupt, aus der Eingebung.

Das erste Instrument heißt Rhythm Gimbal. Eine Gimbal ist eine gewöhnliche mechanische Konstruktion, eine Reihe rotierender Gelenke, sie ähnelt einem Kreisel. Wenn sie stillsteht, ist sie ganz weiß und völlig lautlos. Wenn ich sie aufhebe und bewege, fängt sie an, Töne von sich zu geben. Der Ton wird durch die aneinanderreibenden Ringe erzeugt; sie verändern auch ihre Farbe durch den Kontakt. Einmal in Bewegung, verlangsamt sich die Gimbal, aber es dauert lange, bis sie völlig stillsteht. Wenn ich der Rhythm Gimbal beim Loslassen einen ordentlichen Dreh gebe, macht sie noch weitere Geräusche, die eher klingeln und mit dem Ausdrehen des Instruments langsamer werden. Wenn ich es nicht vorsichtig absetze, so daß es keinen Drall bekommt, wird das Instrument, auch wenn ich mich etwas anderem zuwende, weiter Geräusche machen. Die "Hintergrundgeräusche", die man hört, während ich die anderen Instrumente spiele, kommen von der Rhythm Gimbal.

Der wichtigste (nicht-klingelnde) Ton der Rhythm Gimbal ist die Verbindung eines Chors, eines Orchesters und noch einiger anderer Dinge. Die Harmonie wird durch den Schwung erzeugt, bei dem die Innenteile des Instruments aneinanderschlagen, nachdem man es losgelassen hat. Jeder Ring überträgt den Schwung auf den nächsten äußeren Ring, was eine komplexe Bewegung schafft, ähnlich Pendeln, die an Pendeln aufgehängt sind. Auf den Ringen sitzen Perlen. Wenn die Perlen gegeneinander schlagen, wechseln sie die Farbe und rufen auch eine Veränderung der Harmonie hervor. Kennst Du diese alten Spiele im Vergnügungspark, wo man mit einem riesigen Holzhammer auf eine Zielscheibe am Boden haut und dann sieht, wie hoch man die Scheibe auf einer langen senkrechten Latte schicken kann? Die inneren Stöße der Rhythm Gimbal schleudern in ganz ähnlicher Weise virtuelle Scheiben um einen Quintenzirkel und dann die Naturtonreihe hinauf. Wenn die zwei Sorten Scheiben die Harmonie etwa gleichzeitig erreichen, wird ihr ein Ton hinzugefügt. Alle Harmonie und rhythmische Struktur erwachsen aus diesem Vorgang.

Aber die Gimbal kann nicht wirklich als algorithmische Musikerzeugung beschrieben werden. Zum Beispiel glaube ich nicht, daß die Gimbal so eindeutig initialisiert werden könnte, um die richtigen Parameter zu finden, die sie zum Klingen bringen. Es gibt ein notwendiges Element intuitiven Spiels in den schrägen Harmonien dieses komischen Instruments.

Jeder Ton des Stückes wird durch meine Handbewegungen erzeugt, die durch die virtuellen Instrumente übertragen werden: Es gibt keine vorbestimmten Sequenzen oder Tonfolgen; der musikalische Gehalt ist völlig improvisiert, mit Ausnahme des Klangumfangs der Instrumente.
Das heißt aber nicht, daß ich jede beliebige Musik machen kann. Das läuft genauso wenig wie mit irgendeinem anderen Instrument. Ich kann keinen bestimmten Akkord per Knopfdruck aus der Rhythm Gimbal herausholen. Aber ich kann ein Gefühl aus einer Folge von Akkorden herausholen, weil ich beeinflussen kann, wann Akkorde wechseln und wie drastisch der Wechsel sein wird. Das bedeutet nicht weniger Kontrolle, sondern eine andere Art von Kontrolle. Der Prüfstein eines Instruments liegt nicht in dem, was es leistet, sondern darin, ob Du ihm gegenüber immer sensibler werden kannst, je mehr Du entdeckst und lernst. Ein Klavier ist genauso. Ein gutes Instrument hat eine Tiefe, die der Körper lernen kann, aber nicht der Verstand. Ich glaube, es ist dem Verstand völlig unmöglich, solche Instrumente zu erfinden.

In der VR sind versteckte Mechanismen lediglich unsichtbare Objekte. Während ich diese Welt entwickelte, machte ich die harmonischen Strukturen sichtbar. Das sieht aus wie eine Anzahl Noten, die auf Ringen herum- und einen Pfahl hinaufkrabbeln. Aber für die Aufführung machte ich sie im Rahmen des visuellen Designs größtenteils unsichtbar. Ein Teil ist immer noch sichtbar: ein großer blauer Ring mit Stimmgabeln drauf. Jede der Stimmgabeln hat ein Ding in Form eines T an seiner Basis und Ringe an den Armen. Diese Objekte speichern die jeweils geltende Toniken und die Akkordfolgen; man kann sehen, wie sie sich mit dem Wechsel der Harmonie bewegen.

Das CyberXylo ist ein Schlaginstrument. Seine Töne werden von den Stimmgabeln auf dem blauen Ring abkopiert, deshalb steht es immer im Gleichklang mit der Rhythm Gimbal. Dem Hammer bleibt, nachdem er losgelassen wird, einiger Schwung mit ziemlich viel Reibung. Es ist dadurch möglich, ihm einen Impuls zu geben, so daß er selbst noch eine Weile die Tasten des CyberXylos schlägt. Der Schwung hat kaum mathematische Qualitäten aufzuweisen. Er fügt Umdrehungen hinzu, anstatt Quaternionen zu gebrauchen. Das erzeugt wilde, chaotische Rotationsmuster. Bei einiger Übung können, nahe an den Tasten, begeisterte Wendungen des Hammers zur Quelle erstaunlicher Rhythmen werden.

Das Cybersax ist das ergonomisch komplizierteste Instrument. Wenn man nach dem Instrument greift, dreht es sich so, daß die Hand es nur richtig anfassen kann, und verhindert dabei, daß es Dir durch die Finger gleitet. Wenn Du es einmal hältst, werden die Positionen Deiner virtuellen Finger weiter auf Deine physischen Finger reagieren, sind aber darauf ausgerichtet, sich korrekt auf die Tasten des Saxophons zu legen. Dies ist ein Beispiel einer "Simulation von Kontrolle", die im Design einfacher virtueller Werkzeuge entscheidend ist, besonders wenn kein Kraft-Feedback vorhanden ist.

Drei Stimmlagen – Sopran, Alt und Bass – sind entlang des Hauptrohrs angelegt. Jede Stimmlage besteht aus einem Satz glänzender saxophonähnlicher Tasten. Die von den Tasten gespielten Laute entstammen dem jeweils anerkannten Satz Töne, der durch die Rhythm Gimbal definiert wird. Dadurch harmonieren sie mit den anderen Instrumenten. Es ist möglich, zwischen den Stimmlagen hin- und herzugleiten, indem man mit der Hand auf die angepeilte Stimmlage langt. Der Schwung Deiner Bewegung bestimmt mit, welche Taste mit welchen Tönen belegt wird – bis Du wieder woandershin gleitest, (Wenn Du Dich zum Beispiel vom Alt dem Sopran ziemlich heftig näherst, wirst Du einen Satz Töne mit höherer Stimmung wählen). Du kannst frei spielen ohne das Instrument aus Versehen fallenzulassen. (Diese Eigenschaft war ziemlich schwer hinzukriegen). In der oberen Stimmlage ist es möglich, durch das Modulieren mit dem Daumen zwei Melodien gleichzeitig zu spielen. Die räumliche Ausrichtung des Sax bestimmt Farbe, Mischung und andere Eigenschaften des Klangs. Weitere Gestaltungselemente sind u.a. das obszöne schwanzwedelnde Mundstück und die erbebende Glocke.

Sound und geometrischer Aufbau des Cybersax wurden zum Teil durch ein bizarres Bambussaxophon, das ich aus Thailand habe, inspiriert. Es ist oben verbunden, genauso wie das Endstück des Cybersax.

Computermusik muß Instrumente benutzen, die aus Konzepten darüber, was Musik ist, konstruiert sind. Das ist eine drastische Abwendung von den "dummen" Instrumenten der Vergangenheit. Ein Klavier weiß nicht, was eine Note ist, es vibriert eben, wenn es angeschlagen wird. Eine Sensibilität und eine Achtung für das Geheimnis des Lebens sitzen im Herzen der Wissenschaft und auch der Kunst. Instrumente mit eingebauten, fixen Vorstellungen können diese Sensibilität abstumpfen, indem sie der Handlung ein scheinbar plattes Setting geben. Das kann zu "blöder" oder fader Kunst führen. Es ist interessant, sich hinter einem Klavier zu verstecken statt hinter einem Computer, aber nur, weil ein Klavier aus tönenden Materialien gemacht ist, nicht aus Konzepten. Damit Computerkunst oder -musik funktionieren, mußt Du besonders bemüht sein, Leute und menschliche Bezüge in den Mittelpunkt des Interesses zu stellen.

Ich war total froh, als ich merkte, daß The Sound of One Hand" eine ungewöhnliche Beziehung zwischen der jeweiligen Rolle von Performer, Publikum und Technologie schuf. Normalerweise wird seltene und teure Hochtechnologie in der Performance gebraucht, um ein Spektakel zu erzeugen, das den Status des Performers erhöht. Er wird ziemlich unerreichbar gemacht, während das Publikum bloß erstaunt zu sein hat. Darin gleichen sich Rockkonzerte und der Golfkrieg.

"The Sound of One Hand" erzeugt eine ziemlich andere Situation. Das Publikum sieht mit an, wie ich mich verrenke, während ich den Raum durchschiffe und die virtuellen Instrumente bediene. Ich aber trage einen Datenhelm (Eye-Phones). Fünftausend Menschen beobachten mich, aber ich kann sie nicht sehen und weiß auch nicht, wie sie mich finden. Ich war verletzlich, trotz der Technologie. Das erzeugte einen authentischeren Kontext für die Musik. Wenn Du je Musik vor einem Publikum gespielt hast, besonders improvisierte Musik, kennst Du die Art von Verletzlichkeit, die ich meine, die einer authentischen Aufführung vorausgeht.

Zu diesem Verrenken … Ich habe in der Performance Point-Flying benutzt. Das ist eine Navigationstechnik, bei der Du mit Deiner Hand auf einen Punkt deutest, an den Du gelangen möchtest. Das bringt Dich dazu, dorthin zu fliegen. Ich kann Point-Flying in den industriellen Anwendungen der VR nicht leiden – es erfordert Geschicklichkeit und Du hast Deine Hand nicht frei für andere Dinge. Hier habe ich es benutzt, weil ich genau diese ungebundene, geschickte Navigationsweise wollte. Dadurch konnte ich, parallel zur Performance, eine Reise durch die Asteroiden der virtuellen Welt choreographieren. Es war mir irre peinlich und ich war ziemlich geschockt, als ich mich bei einer der Performances in meiner eigenen Welt verlief!

Ein weiteres menschliches Element des Stückes ist seine Körperlichkeit. "The Sound of One Hand" steht in der Tradition des Theremion, da das Interface hauptsächlich physisch statt mental ist. Obwohl die Instrumente aus Information gemacht wurden, bestand die Musik aus Gebärden.

Fast alle Geräte, die ich benutzt habe, waren nicht mehr am neuesten Stand der Technik, sondern etwa um ein Jahr veraltet. Die Synthesizer und das Head Mounted Display waren 92er Modelle, doch die Graphik-Engine, der Tracker und der Datenhandschuh waren alle älter. Ich glaube, in der Kunst sollte man der Verwendung der neuesten Geräte bewußt aus dem Weg gehen, um zu verhindern, daß man der Technologie um ihrer selbst willen verfällt.

Die Software aber war ziemlich neu. Das Stück war komplett in Body Electric geschrieben, einer visuellen Programmiersprache für Virtual Reality. Ich mag die Arbeitsumgebung dieser Software, die hauptsächlich von Chuck Blanchard entwickelt wurde, besonders gern. Du schließt visuelle Diagramme zusammen, um zu kontrollieren, was in der virtuellen Welt passiert, und Du siehst den Effekt sofort. Die gesamte Musik und die Physik sind in Body Electric geschrieben; ich hätte dieses Ding nie auf C machen können.

Die Welt zog, visuell und plastisch, Nutzen aus jedem damals für Darstellungen in Echtzeit zur Verfügung stehenden Trick, einschließlich Radiosität, Nebel, Mapping von Textur und Umwelt, und Morphing. Die Farbflockenbildung ergab sich aus einem Programmierfehler, der sichtbar wurde, als die Farbe des Hardwarenebels auf der Graphik-Engine langsam verändert wurde. (Ich setzte einen sich sehr langsam bewegenden, hüpfenden Ball in den Zylinder des rot/grün/blauen Farbraumes als Chooser für die Nebelfarbe). Ich habe alle Teile der Welt gebildet, bis auf das beleuchtete Handskelett, das aus der asteroidischen Wand wächst, Es stammt von einem MR-Scan der Hand eines Patienten aus dem Veterans Administration – Krankenhaus von Palo Alto. Es war ursprünglich in der Forschung zur Operationssimulation verwendet worden.

Der Asteroid ist hohl und hat einen Durchmesser von etwa 4 Metern, obwohl der dichte Nebel ihn riesig erscheinen läßt. Durch einen großen Riß an der Seite schwirren Glühwürmchen. In seinem Inneren wächst eine große rote Ingwerpflanze; es gibt auch ein paar Scheinwerfer. Die Instrumente werden meistens drinnen aufbewahrt. An einem Punkt der Performance gab ich der Gimbal einen Schwung und flog für eine Weile durch den Riß ins Freie, damit das Publikum sehen konnte, wie einsam der Asteroid war, von absoluter Leere umgeben.

Die Klänge wurden auf zwei Abtastern/Synthesizern erzeugt. Ich beschloß, die wunderbaren dreidimensionalen Klangmöglichkeiten der VR nicht zu verwenden, da sie vor allem für Kopfhörergebrauch entwickelt worden sind. Ich wollte nicht, daß das Publikum versucht, etwas zu hören.

In vieler Hinsicht war "The Sound of One Hand" ein größerer Sprung ins kalte Wasser als all die verrückten "experimentellen" Performances, an denen ich Ende der siebziger Jahre in New York beteiligt war. Ich wußte vorher nicht, ob das Stück eine Stimmung oder eine Bedeutung annehmen würde, oder ob das Publikum in der Lage wäre, die Erfahrung zu verarbeiten. Für mich wurde die Performance zu einem fröhlichen, therapeutischen Ereignis. Es war so eine Art technologischer Blues, ein trostloses Werk, das ich glückselig spielen konnte. Es war eine Gelegenheit, mit der VPL-Familie an einem rein kreativen Projekt zu arbeiten, eine Möglichkeit, den ganzen VPL-Kram als gegebenes (verläßliches) Rohmaterial zu sehen statt als zu erledigende Arbeit. Es war eine Chance, mein Theoretisieren über virtuelles Werkzeugdesign in die Praxis umzusetzen, VR nur um seiner Schönheit willen anzuwenden, und gegenüber meiner lächerlich politischen Kollegenschaft einfach nur Musik zu machen. Es war auch eine Feier, weil ich VPL nicht mehr leiten mußte, Das Publikum war immer unglaublich aufgeschlossen und niemand hat, soweit ich weiß, das Stück als Demo beschrieben. Es wurde als Musik erlebt.

Welt und Musik: Jaron Lanier
System und Unterstützung bei der Aufführung: Dale McGrew
Synthesizer und Tontechnik: Alfred "Shabda" Owens
Body Electric (Weltdesign und Steuerung): Chuck Blanchard, David Levitt
Isaac (Echtzeit Graphik Software): Ethan Jaffe, Chris Poulicka
World Test Intern (Gimbal Kreisel): Rolf Randa
Datenhelm, Datenhandschuh. Entwicklungssoftware: VPL Research, Inc.
Graphik Engine (440VGXT): Silicon Graphics, Inc.

Wir danken Joanneum Research für die freundliche Unterstützung des Projekts.