|
Der elektronische Musiker
Hinein in Neue Welten Die virtuelle Realität und der Elektromusiker
'Scott S. Fisher
Scott S. Fisher
Sie sind bereit, in eine Ersatzrealität einzutreten. Sie setzen sich Kopfhörer und einen Helm mit einem winzigen Videobildschirm für jedes Auge auf und schlüpfen in einen speziellen Handschuh. Dreidimensionale, vom Computer erzeugte Bilder werden auf Ihre Augenbildschirme projiziert Video-"Hände" passen sich den Bewegungen Ihrer eigenen Gliedmaßen an. Der Ton scheint von überall her zu kommen, nicht nur aus Ihrem Kopf, wie Sie es normalerweise bei Kopfhörern erwarten würden.
Vor Ihnen schwebt ein Mischpult. Die Musik kommt aus einer offensichtlichen Entfernung von ein paar Metern, aber sobald ein Kanal "Solo geschaltet" wird, bewegt sich der Ton zu einem Punkt nur wenige Zentimeter vom Ohr entfernt, während der Rest der Musikmischung weiter weg bleibt. Durch Festhalten und Ziehen am Rand des Pultes erhalten Sie so viele Inputkanäle die sich in die Unendlichkeit erstrecken, wie Sie brauchen.
Das ist nicht so weit hergeholt, wie Sie denken mögen. Tatsächlich gibt es diese Technologie heute im NASA Ames Forschungszentrum und in anderen Laboratorien. Das Konzept, das "virtuelle Realität" (kurz VR) genannt wird, eröffnet uns einen neuen Weg über die Verwendung von elektronischen und Computersystemen nachzudenken.
Virtuelle Realität bringt Sie an Orte, wo Sie noch nie gewesen sind, und läßt Sie mit Ihrer Umgebung in Wechselbeziehung treten, wie es in der wirklichen Welt gar nicht möglich wäre. In diesen neuen Räumen können physikalische Gesetze modifiziert oder außer Acht gelassen werden. Die Computer / Benutzer-Schnittstelle, die bis jetzt an Tastaturen, Mäuse und Bildschirmterminals gebunden war, macht den Sprung vom Schreibtisch in unsere Köpfe hinein, während unsere Körper in unsere Maschinen einzutreten beginnen.VIRTUELLE REALITÄT: DIE HERAUSFORDERUNGEN Die virtuelle Realität stellt eine wirkliche Herausforderung für unsere Phantasie dar. Es besteht die Gefahr, daß wir uns, in ein bekanntes Gebiet geworfen, auf alte Ideen beschränken, und uns so unnötigerweise einschränken. "Je früher wir unsere alten Konzepte aufgeben, und die virtuelle Realität als neues Medium behandeln, desto weiter werden wir mit der Idee kommen," sagt Mark Boles, Präsident der Fake Space Labs, einem Berater für das Virtual Environment Workstation (VIEW) Projekt der NASA-Ames. "Virtuelle Realität kann uns von alten Konzepten befreien," setzt Boles fort, z.B., der Grund warum wir Knöpfe in der physikalischen Welt verwenden, ist nicht, weil sie der beste Weg für uns sind, mit der Ausrüstung in Wechselbeziehung zu treten. Es sind die physikalischen Anforderungen an ihre Funktion, welche ihre Form diktieren. Mit der virtuellen Realität kann die Verbindung von Form und Funktion getrennt werden.
Kein plötzlicher Durchbruch hat die virtuelle Realität möglich gemacht. Tatsächlich sind die meisten ihrer Komponenten schon seit einiger Zeit verfügbar. Bevor wir also zu den Anwendungen kommen, lassen Sie uns die Teile betrachten, die ein typisches Virtuelles Realitätssystem ausmachen.
Das Sehen ist der Sinn, der am häufigsten von virtuellen Realitäten stimuliert wird. Um dem Benutzer zu helfen, sich als Teil der virtuellen Umwelt zu fühlen, wird ein Helm mit LCD-Video Display (einem pro Auge) ausgestattet, getragen. Ein dreidimensionales Video wird geschaffen, indem in jedem Auge ein leicht unterschiedliches Bild gezeigt wird. Diese, am Kopf angebrachten Displays erzeugen Bilder, die fast das gesamte Blickfeld umfassen. Das System beinhaltet ein Mittel, die Kopfposition des Benutzers zu ertasten, und darauf zu antworten, sodaß stationäre Dinge sich verhalten wie in der wirklichen Welt. Objekte zur Linken schwenken nach rechts, wenn man den Kopf nach links dreht und umgekehrt.
Wenn das Sehen als Input für den Benutzer betrachtet wird, dann könnte die menschliche Bewegung als primärer Input für das virtuelle Realitätssystem betrachtet werden. Ein häufiges Bewegungsinputgerät ist der VPL-Datenhandschuh. VPL baut virtuelle Realitätssysteme, die den Datenhandschuh und den "Augenhörer" (eyephone), einen am Kopf montierten Videoschirm beinhalten. Der Handschuh ist mit Fiberoptik-Kabeln durchzogen, die Licht verschieden brechen, je nach dem, ob der einzelne Finger gestreckt oder abgewinkelt ist. Ein magnetischer Sensor, Polhemus 3-Space Suchgerät, bestimmt den Standort des Handschuhs im Raum bis zu 15mal pro Sekunde. Technisch gesprochen können sechs Bewegungsachsen vom Datenhandschuh festgestellt werden: x, y und z Positionen, sowie Rollen, Kippen und Schwenken.
Bewegung und Tastsinn sind wichtig, da Musikaufführungen immer Bewegung beinhalten. Das taktile Feedback, das wir von wirklichen Instrumenten erhalten, ist ein wichtiger Teil der Kontrolle dieser Bewegungen, aber virtuelle Instrumente liefern kein wirkliches Objekt zum Angreifen. Manche Prototypen von virtuellen Realitätssystemen können den Tastsinn simulieren, dies ist ein Konzept namens "Force Feedback". Auf diesem Gebiet wird gerade geforscht und taktiles Feedback wird zunehmend zu einem realistischen Ziel für virtuelle Realitätssysteme.TON UND VIRTUELLE REALITÄTSSYSTEME Im virtuellen System der NASA Ames erschafft ein Gerät namens "Convolvotron" dreidimensionale Töne innerhalb eines normalen Stereo-Kopfhörers. Bis zu vier getrennte Audiokanäle können in einer imaginären Sphäre, die den Hörer umgibt (Siehe Abbildung), plaziert, und/oder bewegt werden. Wie bei virtuellen Realitätsdisplays bleibt die wahrgenommene Ortung des Klanges konstant ungeachtet der Kopfposition. Der Convolvotron ist ein zwei-Tastatursystem, das mit IBM PCs arbeitet.SYNTHETISIEREN VON AUDIO IN 3-D Eine dreidimensionale visuelle Anzeige, ein laufendes Projekt der NASA hat ein Audio-Gegenstück hervorgebracht, einen Signalverarbeiter, der über Kopfhörer dreidimensionalen Ton synthetisiert. Das Gerät wird gerade im NASA Ames Forschungszentrum in Moffet Field, Ca. entwickelt. 3-D Ton zu hören kann von Nutzen sein, wenn visuelle Informationen fehlen, oder eingeschränkt sind. Z.B. Piloten, die in schlechtem Wetter fliegen, könnten vom Kontrollturm ein 3-D Signal empfangen, das ihnen angibt, ob ein nahes Flugzeug über, unter oder in jeglicher dreidimensionalen Richtung von ihnen entfernt ist.
Das von NASA Ames Forscherin Elizabeth M. Wenzel vor drei Jahren begonnene Projekt verwendet einen Signal-Verarbeiter, um Klang zu verarbeiten, wie z.B. den Analogoutput eines Plattenspielers, so daß ein Kopfhörer tragender Hörer die Klangquellen lokalisieren kann, sogar eine in einem anderen Raum.
Die menschliche Fähigkeit, Ton zu lokalisieren, ist größtenteils auf die unterschiedliche Zeit zurückzuführen, welche die akustische Welle braucht, um das einzelne Ohr zu erreichen. Die Falten jedes äußeren Ohres beeinflussen auch die Art, wie das innere Ohr ein Signal empfängt durch Abschwächung mancher Frequenzen und Verstärkung anderer oder indem es das Signal filtert. Das Gerät synthetisiert Ton, indem es diese beiden Effekte in Betracht zieht. Die Technik nimmt an, daß, wenn Gehörgangwellenformen, welche denen eines Freifeldes oder einer natürlichen Quelle identisch sind, kopiert werden können, der Freifeldton mit dem Kopfhörer gehört werden kann. Psychophysische Tests durchgeführt von den zwei Forschern, Frederic L. Wightman und Doris J. Klatier am Waisman Center der Universität von Wisconsin in Madison, fanden heraus, daß wirkliche und synthetisierte Hörerfahrungen vergleichbar mit statischen Klangquellen sich im Horizontalabstand ändern, aber nicht in der Höhe. Die Forscher planen diesen Vergleich auf bewegliche Quellen zu erweitern.
Um Ton zu synthetisieren, plazierten die Forscher aus Wisconsin ein Sondenmikrophon, in der Nähe jedes Trommelfelles eines Hörers in einer echofreien Kammer. Die Frequenzantwort des Ohrs wurde kartographiert für akustische Wellen aus 144 verschiedenen sphärischen Stellen um den Kopf des Hörers herum, in Intervallen von 15 Grad Azimuth und 18 Grad Steigung. Die Paare der Datenpunkte wurden dann verwendet um eine Karte der höheren spezifischen Lokalisierungsfilter zu konstruieren.
Die Karte wurde von einem IBM AT in einen Dual-Port-Speicher eines Echtzeit digitalen Signalverarbeiters von Scott Foster von Crystal River Engineering Inc. Groveland, CA eingegeben, Als Convolvotron bekannt filtert der Verarbeiter ein Analogsignal mit Koeffizienten, welche von den Koordinaten der gewünschten virtuellen Plazierung und der Position des Kopfes des Hörers bestimmt werden. Das Signal wird folglich vom Hörer als im dreidimensionalen Raum plaziert wahrgenommen.
Der Convolvotron hat 128 Parallelprozessoren und kann Daten in der wirklichen Zeit verarbeiten von bis zu vier unabhängigen gleichzeitigen und beweglichen Tonquellen. Für bewegliche Quellen werden die Koeffizienten von einer linearen Kombination von den vier nächsten gemessenen Richtungen abgeleitet.
Die Arbeit an diesem Gerät begann 1986, als Scott Fisher, Projektleiter des VR VIEW-Systems bei NASA-Ames die Psychologin Elizabeth Wenzel über die Durchführbarkeit einer Beigabe von 3-D Ton zum VR-System der NASA befragte. Dr. Wenzel beschloß, daß es möglich war, und zog die Hilfe von Prof. Fred Wightman (zur Zeit an der Universität von Wisconsin tätig), und von Scott Poster, Präsident von Crystal River Engineering, heran, um das System zu entwickeln.
Prof. Wightman war bekannt für seine höchst genauen Messungen des Gehörgangs während Scott Foster den notwendigen Hintergrund hatte um die Hardware zu entwerfen. Neben seiner Funktion als 3-D Tonquelle für die VR-Verwendung wurde der Convolvotron auch als Hilfe für die psychoakustische Forschung konstruiert.
Bevor ich ins Detail gehe, wie der Convolvotron funktioniert, müssen Sie einige grundsätzliche psychoakustische Prinzipien verstehen. Wir orten Töne im Raum, indem wir kleine Unterschiede in Zeit, Phase und Amplitude des Klanges, der das einzelne Trommelfell erreicht, verwenden. Diese Unterschiede werden von mehreren Faktoren verursacht: der Richtung, in welche wir schauen in Relation zur Klangquelle, dem akustischen Raum, der Hörer und Klangquelle umgibt, und der Form des äußeren und inneren Ohrs jeder einzelnen Person. Das Endresultat ist, daß keiner von uns die Dinge gleich hört (für mehr Information darüber, wie das Stereo-Hören funktioniert lesen Sie "Real World Stereo in your MIDI Mixes" in der Februar 1989 Ausgabe der UM).
Obwohl man die Unterschiede des inneren und äußeren Ohrs jeder Person schon lange als signifikant vermutet hat waren sie immer schwer zu quantifizieren. Durch Verwendung von Fred Wightmans genauen Messungen kann der Convolvotron diese nun begründen. Um die Messungen zu machen wird der Benutzer in eine echofreie Kammer gesetzt und ein winziges Sondenmikrophon wird in jeden Gehörgang neben dem Trommelfell plaziert.
Dann wird ein Testton von 144 verschiedenen Stellen aus gespielt, die das Subjekt umgeben, und die "Impulsantwort" an jedem Trommelfell gemessen. Die Impulsantwort charakterisiert gänzlich den direkten und reflektierten Ton, der das Trommelfell erreicht. Die Summe dieser Messungen "kopfbezogene Übertragungsfunktion" (engl. HRTF, dt. KÜF) genannt, beinhaltet die Kennstellen für das Gehör, welche zur Bestimmung der Tonherkunft dienen. Die KÜF eines bestimmten Benutzers kann in den Convolvotron eingegeben und dazu verwendet werden, dreidimensionalen Ton synthetisch herzustellen.
Die vier Töne, die in den Convolvotron gehen, werden durch eine Parallelschaltung, die 128 multiplizierende Akkumulatoren beinhaltet, welche in Form von Verzögerungsleitungen zusammengestellt sind, bearbeitet. jeder Ton wird von einem Filter mit endlicher Impulsantwort abgebildet, dessen Einstellung von den KÜF-Messungen bestimmt wird. Wenn ein Ton bewegt wird "reißt er" zwischen den gemessenen Punkten "nicht ab". Statt dessen werden die vier gemessenen Punkte, welche sich am nächsten befinden dazu verwendet, die Antwort für die ungemessenen Punkte einzufügen und erlauben so einen glatten – Modon – von Tönen.
In einer virtuellen Realität kann der Convolvotron Töne erzeugen, welche von innerhalb des Objekts zu kommen scheinen. Außerdem können lokalisierte Audio-Kennstellen dazu verwendet werden, Informationen aus einem überfüllten visuellen Feld herauszuheben, wie z.B. eine Luftverkehrskontrollanzeige. Wirkliche-Welt Klang so wie synthetischer Ton kann von den MIDI Fähigkeiten des Auditory Display Systems bearbeitet werden (mehr über NASA und MDI später).
Laut Scott Foster kann der Convolvotron einige Aspekte von Raumakustik genauer simulieren, als konventionelle digitale Wiederhaller. Statt wieder in Umlauf gesetztes Feedback zu verwenden, berechnet der Convolvotron jeden direkten und reflektierten Weg, der das Ohr des Benutzers erreicht. Ein Programm, das mit dem System versorgt ist, heißt "Die Reflexions-Ausrüstung". Mit diesem kann man mehrere reflektierende Oberflächen bewegen, während man den entstehenden virtuellen Raumklang in der realen Zeit überblickt. Es gibt einige Begrenzungen, was die Größe des Raumes angeht, der sich dynamisch verändern läßt, aber fast jeder Raum kann statisch simuliert werden. Der Convolvotron hat die Fähigkeit eines Phasenvocoders, der Tonhöhentransformation und gestattet dreidimensionale Tonmanipulation.
Obwohl es futuristisch klingt, ist der Convolvotron heute schon erhältlich. Das typische System kostet um 25.000 Dollar, wobei der Host-Computer und die Technik zur Kopfverfolgung nicht eingeschlossen sind. Crystal River arbeitet an einem neuen Produkt, das viele derselben Eigenschaften beinhaltet, und sich voraussichtlich unter 10.000 Dollar verkaufen wird.
Computer-Hardware- und Software (und einige sehr dicke Kabel) verbinden all die Video- und tonverarbeitende Ausrüstung und Sensoren. Hochwertige Arbeitsplatzcomputer sind dazu fähig, den auftretenden rechnerischen und graphischen Forderungen der virtuellen Realität, nachzukommen, aber Hardware, die dazu fähig ist schattierte solide Objekte mit 15 Teilbildern pro Sekunde (einem für jedes Auge) zu erzeugen, wird einem teuer kommen. Einfachere "Draht-Rahmen" Zeichnungen mit ausreichenden Geschwindigkeiten können an einem PC erzeugt werden.ANWENDUNGEN DER VIRTUELLEN REALITÄT Das Raumprogramm war ein früher Anwender der virtuellen Realität, nämlich für die Ausbildungssimulatoren, und auch dafür, Informationen im Cockpit effizient anzuzeigen. Die Anzahl der Kontrollen, die die Astronauten überwachen mußten, stieg in beunruhigendem Ausmaß. Indem man ein "virtuelles Schaltbrett" auf einen Videobildschirm anzeigte, wurden nur die für den laufenden Betrieb erforderlichen Kontrollschalter angezeigt, in einer Aufstellung, die für die Ausführung dieser Aufgabe am besten geeignet war. Dies verminderte das Gewirr nicht dazu gehöriger Kontrollen, und wenn sich die Anforderungen änderten, konnte das Schaltbrett sofort neu zusammengestellt werden.
Elektronische Musiker sind mit einem ähnlichen Problem konfrontiert; viele Instrumente haben Hunderte von Reglern, die hinter ein paar Knöpfen und einer kleinen rätselhaften Anzeige versteckt sind. Ein virtuelles Schaltbrett könnte uns zurückbringen zu den Tagen der Einzigfunktion des einzelnen Knopfes, und es kann die Programmierung eines Synthesizers zu einer intuitiveren Aufgabe werden lassen. Pitch-Editor-Programme (Teilbearbeitungsprogramm) sind ein existierendes Beispiel für virtuelle Schaltbretter, obwohl die meisten nicht zusammensetzbar sind. Neuere "universelle" Patch Editors (siehe "Complete Control: Universal Editor/Librarians", Seite 54 in der Juni 1990 Ausgabe der EM) sind dem Konzept der zusammensetzbaren VR-Displays sehr nahe.
Wir könnten den Anfang eines Trends in Richtung schaltbrettloser Ausrüstung beobachten. Z.B., DSP-Karten für Computer können nicht angegriffen werden, wenn sie installiert sind. In diesem Fall ist das virtuelle Schaltbrett die einzige Möglichkeit, und kann leicht ein Gerät für allgemeine Zwecke, so maßschneidern, daß es aussieht wie eines der spezielleren Werkzeuge, mit denen wir gewöhnt sind, zu arbeiten, wie z.B. Samplers und Widerhaller.
David Trubitt
|
