www.aec.at  
Ars Electronica 1990
Festival-Programm 1990
Back to:
Festival 1979-2007
 

 

Erforschung virtueller Welten mit head-mounted Displays


'Joseph C. Chung Joseph C. Chung / 'Rodney A. Brooks Rodney A. Brooks / 'M. R. Harris M. R. Harris / 'H. Fuchs H. Fuchs / 'M. T. Kelley M. T. Kelley / 'J. Hughes J. Hughes / 'M. Ouh-young M. Ouh-young / 'C. Cheung C. Cheung / 'R. L. Holloway R. L. Holloway / 'M. Pique M. Pique

Seit nahezu einem Jahrzehnt wird an der University of North Carolina at Chapel Hill die Verwendung einfacher HMDs für Anwendungen in der "realen Welt" erforscht. Diese Geräte vermitteln dem Benutzer nicht-holographisehe, wirklich drei-dimensionale Informationen, da der kinetische Tiefeneffekt, die Stereoskopie und andere visuelle Zeichen den Benutzer in eine "virtuelle Welt" versetzen, die sich in mancher Hinsicht wie die reale Welt verhält.

Ivan Sutherland (1) hat erstmals im Jahr 1965 das "Ultimate Display" angeregt – ein Display, in dem vom Computer erzeugte Bilder sich genauso verhalten, wie es die analogen Bilder in der realen Welt tun. Man könnte auf Sesseln, die vom Computer erzeugt wurden, sitzen. Der vom Computer gemachte Apfelkuchen würde riechen und schmecken wie daheim bei Mutter. Und die vom Computer gefertigten Kugeln wären tödlich. Die Fans der TV-Serie "Star Trek – the Next Generation" werden wissen, daß ein solches Display in der jüngsten Version von Raumschiff Enterprise in Gestalt des "Holodeck" existiert. Während wir von Sutherlands Ultimate Display noch 400 Jahre entfernt sind, können wir im 20. Jahrhundert zumindest damit beginnen, entsprechend dem Stand unserer Technik machbarere Versionen dieses Geräts zu untersuchen.

Sutherland anerkannte selbst für weniger fantastisch anmutende Displays als es das Ultimate Display ist, die Notwendigkeit einer möglichst vollständigen sensoriellen Eingabe.

Am wichtigsten ist die kinetische Rückkopplung – das Ansprechen des Computerdisplays auf die Bewegung des Benutzers. Das Seh-, Hör- und Tastempfinden ist diesem Effekt sehr leicht zugänglich, insofern als Objekte aus dem Sehfeld hinausbewegt werden können, Geräuschquellen ihre relative Position verschieben können, wenn der Benutzer seinen Kopf wendet und ein Kraft-Feedbackmechanismus auf Hand- und Armbewegungen reagieren kann. Solche Displayreaktionen erfolgen zur Gänze computergesteuert und können auf die üblichen Verhaltensweisen der realen Welt beschränkt werden oder auch nicht. Dieses Display mit seinen computergesteuerten Objekten und deren vom Computer hervorgebrachten Verhaltensweisen umfaßt das, was inzwischen als virtuelle Welt bekannt wurde. Es ist die Grundlage für eine an Repräsentationen vielfältige Annäherung an Probleme, deren Darstellung bislang nur mit Bleistift und Papier möglich war.

Hier an der UNC-Chapel Hill, ist die Anwendung des "Virtual World"-Ansatzes für verschiedene Problemstellungen ein zentraler Forschungsschwerpunkt und die Verwendung von Head-mounted Displays (HMDs) ist ein wichtiger Bestandteil dieser Forschung. Offen gesagt sind unsere HMDs ja nichts Neues. Die von uns verwendete Technologie ist im Handel erhältlich und wurde auch für andere HMD-Projekte verwendet. Neu ist jedoch die Anwendung des HMD für Fragestellungen betreffend die Molekularstruktur, die Architektur und in Zukunft auch für medizinische Darstellungen. Wir hoffen, daß es uns gelingt, die Vielfalt der Probleme, bei denen ein HMD effektiv verwendet werden kann, zu demonstrieren.

Der Einsatz von HMDs in der Erforschung computergeschaffener virtueller Welten ist ein Schritt in Richtung einer vollkommen natürlichen Schnittstelle von Mensch und Maschine. Unseren Beobachtungen zufolge entwickelt sich das Verständnis des Benutzers für komplexe räumliche Zwischenbeziehungen rascher und müheloser mit Hilfe von 3-D-Dynamikdisplays und 3-D-Interaktionsgeräten. Es ist viel leichter, die Sicht von einer Situation zu verändern, wenn man rund um das Objekt herumgehen kann oder sich darüberbeugen kann, als wenn man die gewünschte Veränderung erst in eine Reihe von Achsrotationen auflösen muß, die durch Drehknöpfe durchzuführen sind (die "Etch-a-Sketch-Beschränkung", also das mühsame Verändern einer Skizze durch radieren). Und wenn der Benutzer nicht durch überflüssige Arbeiten abgelenkt wird, ist auch die Wahrscheinlichkeit, daß er irritiert wird und seine Orientierung verliert viel geringer. Der ideale HMD wäre natürlich eine viel bessere Alternative als die herkömmlichen Displays. Da der HMD jedoch noch eine relativ junge Technologie ist, läßt sich der Umfang eines idealen HMD nicht so ohne weiteres definieren und er existiert zur Zeit auch noch nicht.

Zunächst ein Überblick über die bekannteren HMDs der letzten 20 Jahre.

Sutherlands HMD:
Sutherland selbst unternahm die ersten Schritte in Richtung des Ultimate Display an der Harvard University mit der Konstruktion eines HMD, den er mitnahm an die University of Utah (2) . Dieses Gerät verwendete ein Paar kleiner CRTs zur Darstellung stereoskopischer Bilder und ermöglichte dem Träger auch, seine reale Umgebung zu sehen.

Es wurde eine spezielle Hardware entworfen und gebaut um die dem Benutzer präsentierten Wireframe-Bilder zu erzeugen. Die Kopfposition und -ausrichtung des Benutzers wurde entweder durch eine direkte mechanische Verbindung zwischen dem HMD und dem an der Decke angebrachten Encoder erfaßt oder mittels eines Ultraschallsensors. Sutherland erzielte gute Ergebnisse mit diesem Gerät.

MIT:
1983 schuf Mark Callahan von der Architecture Machine Group am M.I.T. eine modernere Version von Sutherlands HMD, wobei er die damals verfügbaren verbesserten Displaygeräte und Rechner verwendete. (3)

NASA:
Den nächsten Schritt in der Entwicklung der HMDs setzten Fisher et al (4) am NASA Ames Research Center und zwar im Hinblick auf Telerobotics und das Informationsmanagement in Weltraumstationen. Dieses Gerät konnte computergeschaffene Bilder oder Bilder von Fernbedienungskameras darstellen und konnte jedes Bild mit Rastern, die auf einer optischen Videoplatte gespeichert waren, mischen. Anders als bei den bisherigen Systemen befand sich der Flüssigkristall-Displaybildschirm des NASA-Geräts direkt vor den Augen des Trägers. Fisher verbesserte auch die Interaktion von Benutzer und virtueller Welt durch die Verwendung des für Handgesten empfindlichen DATA GLOVE* von VPL Research und durch den Einbau einer Spracherkennung in das System.

* DataGlove™ ist eine registrierte Handelsbezeichnung von VPL Research, Inc., Redwood City, California

CAE Electronics:
CAE Electronics Ltd. in Quebec hat ein "Fiber-optic helmet mounted display system" (FOHMD) (5) entwickelt für den Einsatz bei Luftkampfflugsimulatoren und anderen Anwendungen wie etwa ferngelenkten Fahrzeugen.

VCASS:
Unter der Leitung von Dr. Thomas Furness wurde im Armstrong Aerospace Medical Research Laboratory auf der Wright-Patterson Air Force Base (6) ein experimenteller HMD entwickelt. Der "Visually Coupled Airborne Systems Simulator" (VCASS) wurde als kostengünstige Plattform, mit deren Hilfe neue Cockpitkonfigurationen bewertet werden konnten, entworfen.

HEAD-MOUNTED DISPLAY FORSCHUNG AN DER UNC
Im folgenden werden die beiden derzeit bei uns verwendeten HMDs beschrieben.

SEE-THROUGH HMD:
In Anlehnung an Ideen von Sutherland und Callahan konstruierten wir einfach und billig einen See-through HMD aus im Handel erhältlichen Produkten (siehe Abb. 1). Das Gerät wurde auf den Plastikaufhängungen einer Pilotenkappe zum Instrumententraining angebracht. Auf dieser Kappe wurde in Höhe der Augenbrauen des Trägers eine horizontale Platte montiert, zwei Seiko Farb-Flüssigkristall-TV-Geräte wurden zerlegt für die Beschaffung der 2-Zoll-Diagonal-Displaybildschirme und Antriebsschaltkreise. Diese Bildschirme haben eine Auflösung von 220v x 320h Pixels. Halbversilberte Spiegel in einem 45-Grad-Winkel erlauben dem Träger die Beobachtung der Bildschirme während er auch seine natürliche Umwelt noch sehen kann. Plastiklinsen, die zwischen den halbversilberten Spiegeln und den Bildschirmen angebracht sind, ermöglichen die Adjustierung der Brennweite auf einen dementsprechenden Wert und ein elektrolumineszentes Paneel liefert den Lichthintergrund für die Flüssigkristallbildschirme. Das von diesem Gerät erzeugte Sichtfeld beträgt ca. 25 Grad horizontal.

AFIT HMD:
Wir haben kürzlich die Zusammenarbeit mit einer Gruppe am Air Force Institute of Technology an der Wright Patterson Air Force Base aufgenommen. Die Gruppe wird geleitet von Major Phil Amburn, einem früheren Studenten an der UNC. Amburns Gruppe hat ein dem NASA Ames Gerät ähnliches HMD entworfen und gebaut (siehe Abb.2). Es ist auf einem Fahrradhelm angebracht und obwohl man es sehr sicher mit Riemen daran befestigen kann, ist es wesentlich schwerer als unser See-through HMD. Das Gerät hat ein sehr hohes Trägheitsmoment und unserer Ansicht nach würde die Ermüdung des Benutzers um einiges geringer sein, wenn es um ein paar Pfunde leichter gemacht würde. Da die Fernsehtechnologie laufend verbessert wird, konnte Amburn größere 3-Zoll-Diagonal-Farb-TV-Bildschirme verwenden und diese Bildschirme erzeugen mit einer einfachen Vergrößerungsoptik ein Sehfeld von etwa 55 Grad. Das AFIT-Gerät hat einen floureszierenden Lichthintergrund, und daraus ergeben sich leuchtendere Bilder als beim elektrolumineszierenden Paneel unseres See-trough HMD. Darüber hinaus haben wir herausgefunden, daß sich die LEEP Optiken – nach geringfügigen Modifikationen ohne weiteres einbauen lassen, und wie die ersten Experimente gezeigt haben, vergrößert die Weitwinkeloptik den visuellen Effekt, selbst bei fehlender Korrektur der optischen Verzerrungen.
ZUKÜNFTIGE SCHRITTE
Display of Choice:
Für unsere Arbeit mit Head-Mounted Displays haben wir uns zwei Ziele gesetzt. Kurzfristig möchten wir das HMD in unseren graphischen Labors zum "Display of Choice" machen. Das bedeutet, daß, wenn jemand drei-dimensionale Daten hat, die er schnell überprüfen möchte, er diese mit wenig Aufwand in das Headmounted-Display-System eingeben und sie dann mit dem HMD erforschen könnte.

Aufgrund der vielen Drähte, Apparaturen und seiner schwierigen Verkabelung müssen derzeit alle HMD-Einsätze außer Haus durch erfahrenes Personal überwacht werden.

Nützliche Anwendungen:
Längerfristig möchten wir die Annahme, daß das HMD ein nützliches Mittel zur Visualisierung virtueller Welten sein kann, erforschen. Das scheint auf der Hand zu liegen, aber wir haben die Erfahrung gemacht, daß sich die Präferenzen der Benutzer nicht immer richtig vorhersagen lassen. Angenommen es geht um ein Molekülmodell mit der Option, ein HMD zu verwenden, wird sich der Durchschnittschemiker, der von solchen neuen Apparaturen ja nicht unbedingt so hingerissen sein muß wie wir das sind, wirklich entschließen können, es zu verwenden? In seinem jetzigen Zustand kann das HMD einer solchen Beurteilung noch nicht standhalten. Es ist noch wesentlich mehr Arbeit erforderlich, um das HMD auf einen Level zu bringen, wo es eine Aussicht hat, erfolgreich akzeptiert zu werden.

Zeitverzögerung:
Unser derzeitiges System müßte es uns ermöglichen, die Verzögerung auf 100 Millisekunden zu reduzieren und das ist die Grenze, an der die menschliche Wahrnehmung etwas als "augenblicklich" empfindet. Mit den besseren Rechner- und Tracking-Systemen wird dieses Problem weniger gravierend. Einen anderen Ansatz haben unsere Mitarbeiter von AFIT gewählt. Sie versuchen, den Verzögerungseffekt durch prädiktive Tracking-Techniken zu verringern.

Stereo:
Der Pixel-Planes 4 Graphikprozessor ist noch nicht in der Lage, zwei separate Stereobilder zu erzeugen, obwohl die Entwicklung der Hardware bereits in Angriff genommen wurde. Wir haben uns mit Monobildern beholfen (kein Stereounterschied bzw. Konvergenzzeichen) und das hat sich als zufriedenstellend für unsere Walkthrough-Anwendungen (Architekturbegehungen) erwiesen, bei denen Interposition, lineare Perspektive und Kopfbewegungsparallaxe starke Tiefenzeichen hervorrufen. Der Effekt ist im Anwendungsfall der Molekülkopplung weniger überzeugend. Hier wären Stereo-Disparität und Konvergenz wertvolle Hilfen.

Interaktion:
In Anlehnung an die NASA Ames Gruppe planen wir unsere Poolball Mouse durch einen VPL DataGlove, einen Datenhandschuh, zu ersetzen. Da viele unserer zukünftigen Anwendungen bis zu einem gewissen Grad über Menus gesteuert werden, entwickeln wir Pop-up-Menus und zwar unter Verwendung von "Bezier-defined fonts", die im Augen- oder im Modellraum existieren können.

Die Menuwahl kam manuell mit dem DataGlove oder über stimmliche Eingabe erfolgen. Das Gerät wird auch mit einem Audio-Feedback ausgestattet, was für Aufpralltests mit virtuellen Objekten besonders nützlich sein wird.

Kalibrierung:
Das HMD sitzt auf verschiedenen Köpfen verschieden. Das heißt, daß zwischen den Benutzern Unterschiede bestehen in der Blickrichtung relativ zum Polhemus-Sensor am HMD, in der interokularen Trennung, im Sehfeld, welches der Benutzer wahrnimmt und in der Registrierung zwischen Objekten der realen Welt und ihrem vom Computer hervorgebrachten Gegenüber (z.B. Hand /Cursor). Diese Unterschiede können über die Software für jeden Benutzer entsprechend ausgeglichen werden, jedoch müssen einfache und effektive Kalibrierungsschemata entworfen werden.

Verarbeitungskapazität:
Wir warten schon ungeduldig auf die Fertigstellung der nächsten Generation der Pixel-Planes 5 Graphics Engine. Die antizipierte zwanzigfache Steigerung der Schnelligkeit und die Möglichkeit mit "Multiple Frame Buffers" zu arbeiten, wird es uns ermöglichen, wesentlich komplexere virtuelle Welten in Realzeit zu erforschen.

Die Forschung in unserer Abteilung zielt auf die Entwicklung wirklicher Arbeitssysteme. Als ein intuitives und natürliches Mittel der Erforschung virtueller Welten, verspricht das HMD eine Verbesserung der Mensch-Computer-Interaktion. Es liegt jedoch noch viel Arbeit vor uns, ehe das HMD ein gängiges Werkzeug der Problemlösung durch Computergraphiken wird.

Referenzen:

(1)
I.E. Sutherland, "The ultimate display Proceedings of the IFIP Congress 2, 506-508 (1965).zurück

(2)
I.E. Sutherland, "A head-mounted three-dimensional display," 1968 Fall Joint Computer Conference, AFIPS Conference Proceedings, 33, 757-764 (1968).zurück

(3)
M.A. Callahan, A 3-D display head-set for personalized computing, M.S. thesis, Dept. of Architecture, Massachusetts Institute of Technology, 110 pp. (1983).zurück

(4)
S.S. Fisher, M. McGreevy, J. Humphries, and W. Robinett, "Virtual environment display system," Proc. 1986 Workshop on Interactive 3D Graphics, 77-87 (1986).zurück

(5)
CAE Electronics, Ltd., Introducing the virtual display system you wear, 4 pp.(1986).zurück

(6)
C.V.Glines, "Brainbuckets", Air Force Magazine, 690, 86-90 (1986).zurück