Gulliver’s Box


'Adrian David Cheok Adrian David Cheok / 'Hirokazu Kato Hirokazu Kato / ' Ars Electronica Futurelab Ars Electronica Futurelab

Gulliver’s Box ist eine Kooperationsarbeit des Ars Electronica Futurelab mit Prof. Hirokazu Kato (Osaka University). Nachdem das Futurelab in den letzten zwei Jahren sein Forschungsinteresse verstärkt auf Technologien und Einsatzmöglichkeiten von Mixed-Reality-Anwendungen im künstlerischen und wissenschaftlichen Bereich gerichtet hatte, kam es im Rahmen von Pixelspaces 2002 zu einem ersten Treffen der Kooperationspartner. Cheok und Kato präsentierten ihre Arbeit im Symposium und gaben auch damals schon den Besuchern der OpenLab-Ausstellung die Gelegenheit, ihre Mixed-Reality-Applikationen auszuprobieren. Die positiven Erfahrungen mit den Besuchern und die durch die Präsentation ausgelösten Diskussionen führten schließlich zu der Idee eines gemeinsamen Projekts.

Mit den in der Installation kombinierten Entwicklungen werden neue Ansätze verfolgt, mit
Mixed-Reality-Inhalten umzugehen. Die zentrale Herausforderung des Projekts bestand in der Positionierung eines neuartigen Mediums irgendwo zwischen Theater, Film und Installation. Das Ergebnis ist eine Infrastruktur, die Künstlern neue Möglichkeiten bietet, audiovisuelle Information zu transportieren, und Kreative jeder Disziplin ermutigen soll, mit diesen neuen Ansätzen zu Arbeiten. So gesehen, generiert die geschaffene Plattform eine experimentelle Laborsituation für eine große Bandbreite künstlerischer Ausdrucksformen. Die Perfomances von Tänzern, Sängern oder Schauspielern können aufgenommen und, auf Avatare übertragen, mit beliebigen Computeranimationen konfrontiert werden. Der Zugang im Ars Electronica Center bietet darüber hinaus auch jedem Besucher die Möglichkeit, Aufnahmen von eigenen Aktionen zu gestalten und in der Folge eine spezielle Art der Selbstreflexion. Dieser besondere Aspekt ergibt sich aus dem Blickwinkel des Betrachters. Wie in der Welt der Riesen und Zwerge in Gullivers Reisen, sind es die Dimensionssprünge, das Spiel mit Maßstäben und Relationen, die gewohnte Seeweisen aufbrechen. Letztendlich erscheinen die verschiedenen Ansätze in Gulliver’s Box genauso phantastisch und horizonterweiternd wie die Visionen im Roman von Jonathan Swift. Die über das Medium wiedergegebenen Performances und die Aufzeichnungen der Besucher selbst laden ein dazu, die Perspektive einmal grundlegend zu wechseln bzw. zu überdenken. Die Möglichkeit der Beobachtung und Manipulation der Szene, von einer erhöhten und frei wählbaren Position heraus, übertrifft den God-Mode von Computerspielen und scheint im Medienkontext einzigartig. Interaktion mit „live captured” oder animierten Charakteren war im Regelfall an Bildschirme oder Projektionswände gebunden. Mit der Mixed-Reality-Technologie ergeben sich nun Formen des künstlerischen Ausdrucks und der Rezeption in einer intimen, wenn auch projizierten, Situation zwischen Akteur und Betrachter. In Gulliver’s Box werden die Prozesse des Gestaltens, der Darbietung und der Wahrnehmung in einem Environment vereint.

Teile der Installation erinnern wiederum an Elemente des Theaters. Es gibt eine Bühne mit Bühnenbild, Akteure und eine Rahmenhandlung. Die Szene besteht aus animierten Charakteren, vorproduzierten Aufnahmen und Aufnahmen der Besucher, die mittels Head Mounted Displays auf der Bühne, in diesem Fall einem Tisch, erscheinen. Die Aufnahmen werden ermöglicht durch das von Cheok entwickelte 3DLive-System, (1) das aus mehreren Videobildern eine dreidimensionale Sequenz errechnet. Der Aufnahmeprozess ist ein integrierter Bestanteil der Installation; in der Recording Area wir der Besucher an diese zukunftsträchtige Form der Konservierung herangeführt. Die so aufgezeichneten Bild- und Toninformationen können anschließend mit Hilfe von optischen Markern beliebig auf der Spielebene platziert und abgespielt werden.

Der modulare Aufbau der Szene erlaubt es dem Beobachter in die Situation verändernd einzugreifen und den Ablauf zu bestimmen. Ein Werkzeug für diese Manipulationen ist das
Tangible Interface „MagicCup“, (2) das eine Reihe von Optionen in sich vereint. Das Interface besteht aus einem schlichten transparenten Würfel, dessen Position und Bewegungen von einem optischen System erkannt und interpretiert werden. Der Benutzer nimmt den Würfel, setzt ihn über ein eingeblendetes virtuelles Objekt und kann es so aufheben, bewegen und absetzen, kopieren oder löschen. Der Wechsel zwischen den einzelnen Funktionalitäten erfolgt durch einfaches Schütteln des Würfels.

Im Rahmen des fortlaufenden Projekts werden unterschiedlichste Verfahren erprobt und die Grenzen des Systems ausgelotet. Erst die Erfahrungen, die im Zusammenspiel von spontanen 3D-Live-Aufnahmen, künstlerischen Performances und animierten Charakteren gemacht werden können, und der praktische Umgang mit den technischen Manipulations- und Interaktionswerkzeugen im Publikumsverkehr werden zeigen, was dieser Mixed-Reality-Ansatz für zukünftige Anwendungen bedeutet, kann.

Text von Pascal Maresch / Christopher Lindinger

(1)
S.J.D. Prince, A.D. Cheok, F. Farbiz, T. Williamson, N. Johnson, M. Billinghurst und H. Kato. „3D Live: Real time captured content for mixed reality,“ International Symposium on Mixed and Augmented Reality, 2002.zurück

(2)
H.Kato, M.Billinghurst, I.Poupyrev, K.Imamoto, K.Tachibana, „Virtual Object Manipulation on a
Table-Top AR Environment,“ Proc. of IEEE and ACM International Symposium on Augmented Reality 2000, pp.111–119 (2000).zurück