|
Was ist neu an Reality Built for Two?
'Chuck Blanchard
Chuck Blanchard
/
'Ann Lasko-Harvill
Ann Lasko-Harvill
/
'Lou Ellyn Jones
Lou Ellyn Jones
EINLEITUNG Das eine Jahr, das seit der ersten Vorstellung des RB2 Virmal Reality System durch VPL Research am 7. Juni 1989 vergangen ist, wird durch einen signifikanten Fortschritt auf zwei Gebieten gekennzeichnet: durch die technische Entwicklung und ein zunehmendes Verständnis für Anwendungen der Virtual Reality in der realen Welt.
Der vorliegende Artikel behandelt einige der wichtigsten Entwicklungen auf beiden Gebieten: Die Einbindung dreidimensional lokalisierten Klanges, die ständige Weiterentwicklung von VPLs Software, die für den Aufbau und die Animation der virtuellen Welten verwendet wird, und das Wachstum bei den vernetzten Virtual-Reality-Environments.KURZE VORSTELLUNG DER VIRTUELLEN REALITÄT UND DES RB2-SYSTEMS Der wohl einfachste Weg zum Verständnis virtueller Realität führt über den Vergleich mit der realen Welt. Die physikalische Realität ist das, was man auf der anderen Seite der Sinnesorgane – Augen, Ohren, Haut – findet. Eine virtuelle Welt wird wahrgenommen, wenn computerisierte Kleidung über diesen Sinnesorganen getragen wird. Wenn man mit jemandem über Telefon spricht, so hat man dabei keine "künstliche" Erfahrung, obwohl die Stimme des anderen auseinandergenommen und als Signal über eine Leitung oder gar einen Satelliten gesendet wurde. Es handelt sich um ein reales Gespräch unter Verwendung der Telefontechnologie. Ähnlich reale Vorgänge und reale Kommunikation finden auch in der Virtuellen Realität statt.
RB2 (Reality Built for Two – Realität für Zwei gebaut) heißt so, weil es das erste System virtueller Realität ist, das mehr als eine Person gleichzeitig involviert. Durch die zugrundeliegende Hard- und Software ist RB2 benützerzentriert das heißt die Benützer können ihre Environments interaktiv gestalten und erfahren.
Die Hardware zu RB2 besteht aus einem DataGlove (TM ) Modell 2, ein Input-Gerät für die Bewegung der Hand, aus dem EyePhone (TM), einem auf dem Kopf befestigten stereoskopischen "Visier" mit Kopfhörern, und zwei Silicon Graphics IRIS Computern, die die Welt in real-time darstellen: je einen pro Auge. Das Convolvatron, ein Gerät zur akustischen Modellierung dreidimensionaler Räume, wurde ebenfalls kürzlich ins RB2-System eingeführt.
Ein Schlüssel zur Realität der virtuellen Realität ist die real-time-Verfolgung der Bewegungen des Benützers. Beide visuellen und auditiven Displays werden ständig updated, um jede Bewegung des Benützers zu reflektieren. Wenn man den Kopf dreht, so sieht und hört man die Welt aus einer neuen Perspektive.DREIDIMENSIONAL LOKALISIERTER KLANG IN DER VIRTUELLEN REALITÄT Das RB2-System umfaßt mittlerweile auch 3D-lokalisierten Klang aus einer scheinbar punktförmigen Klangquelle. Dieselbe "Verfolgung" der Kopfbewegungen, die auch das visuelle Display ständig auf dem neuesten Stand hält, produziert auch den Klang, als ginge er von spezifischen Objekten aus. Der Benützer kann so etwa eine Stimme hinter sich hören und sich nach dem Sprecher umdrehen.
Die Hardware, die diesen 3D-Effekt im RB2-System erzeugt, heißt Convolvatron. Es produziert ein akustisches Modell sowohl des physischen Raumes als auch der Ohrenform selbst.
Die Klangdaten können naturgetreu von aufgenommener Musik, Live-Stimmen oder gesammelten Klangquellen eingespielt werden, wobei letztere über Body Electric und MIDI (Music Instrument Digital Interface) verändert werden können. So wird das MIDI etwa zur Erzeugung von Doppeleffekten und Nähe-Effekten (Amplitude) bei einem Autorennen eingesetzt, während die Position der Autos als Klangquellen in bezug zum virtuellen Fahrer vom Convolvotron produziert wird.
Verbindet man nun die auditiven und visuellen Effekte, so entsteht eine mächtige und überzeugende Imitation der Realität, die sowohl das Raumgefühl des Benützers steigert als auch seine Möglichkeiten, im Raum Funktionen auszuüben. Konferenzschaltungen am konventionellen Telefon sind schwierig zu verstehen. Visuelle und auditive räumliche Hinweise helfen, den Sprecher zu identifizieren und eine natürliche Interaktion aufrechtzuerhalten.
Die hohe Informationsdichte des Klangs und unsere Sensibilität für seine Nuancen, Tonhöhe, Lautstärke, Filterung, Stereo usw. helfen, die Beziehung zwischen Benutzer und Umwelt herzustellen. Der Klang kann wichtige Hinweise zur Erfüllung von Aufgaben geben.NETZWERKE IN DER VIRTUELLEN REALITÄT Mit dem Auftreten von Netzwerken (der Möglichkeit, mehr als eine Person gleichzeitig in ein virtuelles Environment einzubinden) hat sich auch der Anwendungsbereich für Virtuelle Realität drastisch vergrößert: Virtuelle Realität wird zu einemWerkzeug für Kommunikation, Zusammenarbeit und für das Poolen von Ressourcen.
Mehrere Teilnehmer, die alle ein EyePhone und einen DataGlove tragen, erfahren sich selbst als im gleichen Environment befindlich, egal ob sie sich physisch im selben Raum oder auf getrennten Kontinenten befinden. Das System überwacht ständig die Bewegungen eines jeden Mitwirkenden und hält die sensorischen Displays up-to-date, so daß jeder den derzeitigen Zustand der Welt in jedem Augenblick gleichermaßen vermittelt bekommt.IDENTITÄT UND MASKE IN DER VIRTUELLEN REALITÄT In der virtuellen Welt wird jeder Teilnehmer durch ein eigenes Körperabbild dargestellt, das die anderen erkennen und mit dem sie interagieren. Die Selbstdarstellung wie die Darstellung der Umwelt sind anwendungsspezifisch. Teleoperationen können dadurch verbessert werden, daß die Identität des Benützers direkt auf das gesteuerte Gerät projiziert wird, während Kommunikationsaufgaben durch ausdrucksvolle (oder aber neutrale) Bilder zur Darstellung der Teilnehmer geformt werden können.DIE VERNETZUNG VON ANWENDUNGEN Einmal in der Virtuellen Realität vernetzt, können die Individuen ihre Beiträge zu Gruppenleistungen erbringen, die Beiträge der anderen sehen und auf sie reagieren, sobald sie erfolgen. So können etwa Wissenschaftler auf Gebieten, in denen die Daten inhärent dreidimensional sind – Chemie, Aerodynamik, Geologie – nicht nur ihr Modell visualisieren, sondern in es eintreten und es manipulieren, als wäre es physisch vorhanden.
Ingenieure können ein Design gemeinsam entwickeln, indem sie einen virtuellen Prototypen bearbeiten. Architekten, Stadtplaner und Produkt-Designer könnten bei ihren Entwürfen zusammenarbeiten, indem sie Aspekte der virtuellen Umgebung manipulieren, um anderen den Effekt zu zeigen.
In der Medizin kann ein Chirurg ein VR-Modell des Patientenkörpers dazu einsetzen, die Operation mit dem gesamten Team zu planen. Ein Chirurg könnte auch eine besonders heikle Operation mit einem einschlägigen Spezialisten in der Virtuellen Realität durcharbeiten. Im Bereich der kognitiven Wissenschaften können Forscher Experimente schnell und leicht in Virtueller Realität aufbauen, um sie von Kollegen überprüfen und modifizieren zu lassen.
Entfernte User können Ideen über Sprache oder anderes auditives Feedback samt Klangeffekten und Musik kommunizieren. Die Virtuelle Realität eignet sich auch für gestische Kommunikation, auch für verschiedene codifizierte oder ad-hoc-Zeichensprachen und formale graphische Kommunikation, etwa Skizzen, Graphen, Tabellen und ihre dreidimensionalen Äquivalente. Eine andere Form der Kommumkation ist die Manipulation des virtuellen Environments selbst. Als Beispiel sei dafür die Verschiebung eines Fensters in der Virtuellen Realität zur Demonstration einer architektonischen Idee angeführt.
Die Virtuelle Realität als solche kann auch eine eigenständige – und leistungsfähige – Kunstform sein. Sie enthält Charakteristika der Performance Art, Graphik und verschiedener anderer interaktiver Medien, und ist doch einmalig. Die User können ihre eigenen Produktionen schaffen und darin mitspielen.
Die Anwendung der Virtuellen Realität auf Videospiele ist so selbstverständlich, daß sie kaum noch erwähnt zu werden braucht. Man sollte sich allerdings Gedanken über die Schwierigkeiten komplexer Mannschaftsspiele und Wettbewerbsspiele machen, die sicherlich entwickelt werden.
Mitwirkende mit den verschiedensten Fähigkeiten können interagieren, spielen, arbeiten und schöpferisch tätig sein, dabei individualisierte Input- und Display-Geräte einsetzen, die ihnen in der virtuellen Umwelt ausgeglichene Fähigkeiten verleihen.NETZWERK-TECHNOLOGIE Verschiedenste technologische Ansätze können im RB2 – Netzwerksystem verwendet werden. Ethernet ist Hauptträger des Systems in der derzeitigen Konfiguration. VPL hat Datenkompressions-Techniken und Algorithmen entwickelt, die die Benützung von konventionellen Telefonleitungen oder von Satelliten ermöglichen. Das RB2-System ist auch für die Breitband-Netzwerkkommunikation unter ISDN vorgesehen.BODY ELECTRIC – MAPPING-VERHALTEN IM RB2 Neben der Modellierung des Aussehens umfaßt die Gestaltung einer virtuellen Welt auch die Darstellung der Handlungen des Users im Modell. Im einfachsten Fall bedeutet dies die Übertragung des DataGlove-Sensor-Outputs auf den zugehörigen Finger einer virtuellen Hand. Ein etwas komplexeres Beispiel wäre etwa die direkte Operation eines Roboters mit dem Input des Handschuhs, wobei diese die Grundbedingung für andere beschränkende Faktoren im System darstellt.
Die darzustellende Handlung kann im Mapping-Prozeß gesteigert oder minimiert werden. So kann dieselbe Geste eine breit ausschwingende Bewegung über eine große Raumstrecke hinweg auslösen, oder aber so eingestellt werden, daß sie gerade kleine Bewegungen verursacht, wenn Feineinstellungen verlangt werden. Der Input des Users kann mit dem von anderen Geräten verkettet werden, selbst mit Feedback aus dem physischen Environment. Logische Prozesse und Beschränkungen können ebenso modelliert werden wie die Bewegungen, sodaß das System auf sich selbst wirken kann.
Die Software für Design und Steuerung des konstanten Datenflusses von den real-time Hardware-inputs bis zum lebendigen Virtual Reality Modell heißt "Body Electric". Obwohl es schon immer ein graphisches und interaktives Programm war, hat Body Electric im vergangenen Jahr ein neues Interface entwickelt, das den User die Verbindungen auf noch intuitivere visuelle Weise aufbauen läßt.BESCHREIBUNG DES "REALITY BUILT FOR TWO"-SYSTEMS (RB2) Das RB2-System ist ein integriertes Hard- und Softwaresystem. Es besteht aus getrennten Input-und Display-Geräten (DataGloves, EyePhones, Trackers, sogar DataSuits), gekoppelt an eine Design- und Steuerungs-Workstation und leistungsfähige Rendering-Maschinen. Die dazwischentretenden Software-Anwendungen schaffen und erhalten die virtuelle Welt.
Das EyePhone ist ein am Kopf zu tragendes Gerät mit zwei LCD-Bildschirmen, die die Augen komplett bedecken. Diese Schirme sind zueinander in einem Winkel von 6 Grad versetzt, so daß der Betrachter eine beidäugige – also eine 3D-Ansicht – der virtuellen Welt erhält. Die Bilder auf den Schirmen werden real-time updated und entsprechen den Bewegungen des Kopfes des Users. Wenn der User beispielsweise seinen Kopf nach recht dreht, zeigen die Bildschirme das, was in der virtuellen Welt rechts vom User liegt. Integriert in das Gerät sind Kopfhörer, die einen 3D-Klang liefern.
Oben auf dem EyePhone ist ein Polhemus-Sensor montiert, eine Magnetantenne, die die Position und Ausrichtung des Kopfes im Raum relativ zu einer fixen im Raum befindlichen Magnetfeldquelle registriert. Das Polhemus-System teilt dem Computer mit, wo der Benutzer im 3D-Raum ist und wie er (oder sie) sich bewegt (also ob der Kopf nach rechts oder links gedreht wird, unter den Tisch schaut oder sich einen Meter weiter weg begibt).
Der VPL DataGlove läßt den User Objekte in der virtuellen Welt angreifen und aufnehmen, als wären sie real. Hält man die Hand vor das Gesicht, so sieht man eine virtuelle Hand, die die in der Wirklichkeit gemachten Gesten imitiert.
Der DataGlove fühlt die Position der Hand und ihre Ausrichtung im Raum ebenso wie die Beugung der einzelnen Finger. Die Position und Ausrichtung (in drei Achsen) wird wie beim EyePhone von einem Polhemus-Sensor auf dem Handrücken gemessen. Glasfaser-optische Sensoren an den Finger- und Handgelenken messen die Beugung in jedem Gelenk.
VPL produziert auch den DataSuit, für Messungen der Bewegungen des ganzen Körpers. Der DataSuit ist ein Ganzkörper-Trikot mit Sensoren für die Erfassung von Arm-, Bein- und Rumpfbewegungen. Der DataSuit verwendet verschiedenste Sensoren für die Messung von Gelenksbiegung und Rotation in Hüfte und Schulter. Polhemus-Sensoren auf Kopf, Rücken und Becken, um die Rotation der Wirbelsäule ebenso zu erfassen wie die absolute Position der Figur im Raum (d.h. ob sich die Figur vorwärts, rückwärts bewegt oder hingehockt hat usw.). DataSuit enthält auch rechte und linke DataGloves und Sandalen mit Drucksensoren in den Fersen, die den Bodenkontakt messen.
Derzeit verwendet VPL Silicon Graphics IRIS Rendering-Maschinen (eine pro Auge), um das Bild der real-time auf den EyePhone-Schirm zu bringen. Die Design/Control-Workstation ist ein beschleunigter MacIntosh II mit einer Ethernet-Card als Interface zu den IRIS-Computern.SOFTWARE Das RB2 verwendet drei zusammenhängende Software-Applikationen, um virtuelle Welten zu entwerfen und zu schaffen.
RB2 Swivel ist eine erweiterte Version von Swivel 3D, VPLs Farb-Festkörpermodelliersoftware für den MacIntosh. Swivel dient dazu, Objekte zu entwerfen und in ein 3D-Environment zu stellen. Objekte können hinsichtlich ihrer Position und Ausrichtung genau bestimmt werden, für die einzelnen Freiheitsgrade können Spannen angegeben werden. Um einen natürlich wirkenden virtuellen Ellbogen zu erzeugen, könnte der Benützer etwa die Beugung auf einen Freiheitsgrad einschränken und die Bewegungsspanne mit rund 160 Grad begrenzen.
Body Electric animiert die in RB2-Swivel erstellten Graphiken. Es läuft auf dem MacIntosh und sammelt Daten aus externen Quellen (wie BodySuit, DataGlove- und EyePhone-Sensoren, MIDI- und enderen Quellen), häuft sie an und sendet Updates über Ethernet in die virtuelle Welt. Body Electric akzeptiert RB2-Swivel-Files als editierbare 3D-Drahtgitter-Modelle und kann sie zu einem animierten komplexen Environment verschmelzen. Wenn ein User im DataGlove die Faust ballt, nimmt Body Electric die Rohdaten von den Sensoren und wandelt sie in eine real-time-Animation einer geballten Faust an der richtigen Stelle in der virtuellen Welt um.
Body Electric erlaubt Interaktionen mit Objekten in der Virtuellen Realität und definiert das Verhalten dieser Objekte. Benützer können beispielsweise virtuelle Objekte ergreifen, oder einen virtuellen Hebel ziehen, um eine Lokomotiv-Pfeife ertönen zu lassen. Body Electric läßt virtuelle Uhren ticken und virtuelle Vögel im Raum umherfliegen. DieUser können das Verhalten oder die Interaktivität verändern, während die virtuelle Welt in Betrieb ist, und das Ergebnis sofort sehen. Body Electric erlaubt auch die Aufzeichnung und Wiedergabe von Sequenzen. Es läuft unter einer intuitiven visuellen Programmiersprache, die keine vorhergehende Programmier-Erfahrung verlangt.
ISAAC, das auf den Silicon Graphics IRIS-Computern läuft, ist für das real-time-Rendering der virtuellen Welt verantwortlich. ISAAC akzeptiert Modelle aus RB2-Swivel über Ethernet, und assembliert ein gelinktes Modell des virtuellen Environments. ISAAC schafft die virtuelle Welt in der Form von Gouraud-schattierten Polygonen, die es dann auf den EyePhones (oder für außenstehende Betrachter auf den Monitoren) rendert. ISAAC definiert auch die Maschinenkonfiguration, den Maßstab des virtuellen Enviromnents, die Identität und Perspektive der Blickobjekte, und die intraokuläre Distanz der EyePhones.ZUSAMMENFASSUNG Signifikante neue Aspekte der Virtuellen Realität bei VPL entwickeln sich auf vielen Gebieten: Panorama-artige Video-Hintergründe wurden kürzlich ins RB2-Systern eingebunden und eröffnen eine neue Form des Realismus, sowie eine Brandbreite graphischer Möglichkeiten. EyePhones mit höherer Auflösung werden gerade entwickelt, basierend auf den gerade verfügbar werdenden Technologien. Neue Rendering-Maschinen machen noch komplexere virtuelle Welten, Das nächste Jahr wird nicht nur für die Entwicklung bei VPL entscheidend werden, sondern für die ganze Gemeinschaft der Virtual-Reality-Forscher.
Literaturhinweise:
1. BLANCHARD, CHUCK ET AL, "Reality Built for Two: A Virtual Reality Tool, Proceedings of the ACM Snowbird conference (Feb. 1990)
2. FISHER, S. S., and Jane Morrill Tazelaar, "Living in a Virtual World" Byte Magazine TV 215–221 Only 1990)
3. FOLEY, JAMES D., "Interfaces for Advanced Computing" Scientific American pp 126–135 (October 1987)
4. HARWOOD, JIM "Agog in Goggles: Shape of things to Come Reshaping Hollywood's Future" Variety 56 Anniversary Issue pp 66–74 (1989)
5. LASKO-HARVILL, ANN ET AL, "From DataClove to DataSuit" Proceedings of the JEEE.COMPCON., 1988 pp
6. LEVY, STEVEN, "Brave New World" Rolling Stone Magazine pp 92–100 (July 14,1990)
7. SUTHERLAND, W.R. "The Ultimate Display", Proceedings of the IPIP Congress 2, pp 506–508 (1965)
8. WRIGHT, RICHARD, "The Information Age: Virtual Reality" The Sciences V 27, N 6 pp 8–10 (1987)
|
