Mitwirkende des interaktiven "Videoplace"-Systems von Myron Krueger werden in Echtzeit von einer Kamera erfaßt. Dabei wird das Bild als Schatten auf dem Grafikschirm analysiert. Dieses "Schattenwesen" kann nun mit Objekten, die das Computersystem bereitstellt, und mit anderen Schattenwesen (Mitwirkenden) interagieren.

Ich bin gelernter Computerwissenschaftler und habe eigentlich kein besonderes Interesse an der Kunst gehabt. Ich habe aber die Begegnung zwischen Mensch und Maschine als das zentrale Drama unserer Zeit angesehen und wollte an seiner Erforschung teilhaben. Es war offensichtlich, daß das Design der Interfaces zwischen Mensch und Maschine ein technisches ebenso wie ein ästhetisches Problem war. Ein erfolgreiches Design sollte seinen Benutzern Freude bereiten, nicht nur ihre Produktivität steigern. Künstler und Musiker schienen als Modell für ein solches Interface recht geeignet, da sie eine intime und befriedigende Beziehung zu ihren Werkzeugen haben.
Als ich beobachtete, wie die Künstler mit ihren traditionellen Werkzeugen in Beziehung stehen, merkte ich, was sie so Ende der 60er mit Computern machten. Ich fand, daß sie Kunst in einer recht altehrwürdigen Weise machten. Dies schien mir falsch. Wenn der Computer die Kunst revolutionieren sollte, so mußte er neue Kunstformen definieren, die ohne ihn unmöglich wären, nicht einfach nur dabei helfen, traditionelle Arbeiten zu schaffen.

Die Möglichkeit, die der Computer der Kunst zu bieten hatte, war die Reaktion in Echtzeit. Als ich allerdings meine Vision den Künstlern anbot, fand ich, daß sie nicht interessiert waren. Mehr noch, sie sahen sich nicht in der Lage, ein technisches Medium zu beherrschen, und waren von der Technologie selbst auch nicht begeistert. Mir wurde klar, daß — wenn ich die Kunst sehen wollte, die ich mir vorstellte — ich selbst zum Künstler werden mußte.

Ein Ergebnis dieser Anstrengungen war das Konzept einer „künstlichen Wirklichkeit", in die die Besucher eintreten können, um eine von Künstlern geschaffene Welt zu erleben. Letztlich wird dann diese „künstliche Wirklichkeit" mehr sein als eine Kunstform. Sie wird eine neue Form menschlicher Erfahrung sein, ebenso reich wie Filme, Romane und Theaterstücke. Es ist nicht Ziel dieser Arbeit, einfach alte Ziele der Kunst interaktiv zu gestalten, sondern eine neue Ästhetik zu entdecken, die uns erlauben wird, Erfahrungen zu schaffen, die sich einzig auf die neuen Möglichkeiten konzentrieren, die uns die Interaktivität bietet.

Videoplace

Das "Videoplace"-System erkennt einen oder mehrere Mitwirkende und reagiert auf ihre Bewegungen in Real-Time. Videokameras erfassen die Mitspieler, die vor einer Lichtwand stehen, die es dem Computer leichter macht, das Mitspielerabbild vom Hintergrund zu unterscheiden. Das Videobild der Mitwirkenden wird zu einem binären Bild reduziert, das von einer Reihe selbstgebauter Computer analysiert wird, die ihre Algorithmen um ein Tausendfaches schneller ausfahren als normale Personalcomputer.

Das "Videoplace"-System identifiziert Kopf, Arme, Beine, Hände und Finger der Mitspieler und bestimmt ihre Bewegungsrate. Diese Anlayse wird fürjeden Mitspieler auf einem eigenen Prozessor durchgeführt. Sobald das Bild eines jeden Mitwirkenden verstanden ist, wird es im Hinblick auf die Objekte und Wesen auf dem Grafikschirrn analysiert. Der Computer untersucht etwa, ob der Mitwirkende ein grafisches Objekt berührt. Da das Bild des Mitwirkenden bewegt, skaliert und überall auf dem Schirm rotiert werden kann, muß die Beziehung des transformierten Abbildes zu den anderen Objekten auf dem Schirm berücksichtigt werden.

Sobald die Aktionen einer jeden Person im Hinblick auf die Grafik-Welt analysiert sind, muß der Computer die Konsequenzen ihrer Aktionen bestimmen und seine eigenen Antworten festlegen. Dann werden diese Antworten strukturiert und Nebenprozessoren eingeschaltet, die Grafik, Bildverarbeitung und Klang steuern sowie die Reaktionen produzieren.

"Videoplace" wird auf zwei Arten ausgestellt: Im einen Modus wählt es selbst eine neue Interaktion aus, sobald eine Person eintritt. Diese Interaktion wird fortgesetzt, bis der letzte Teilnehmer das Environment verlassen hat. Wenn eine neue Person eintritt, wird die nächste Interaktion in der Sequenz ausgelöst. Im zweiten Modus funktioniert das Objekt als Dialog zwischen zwei Mitspielern: einem, der das System versteht und steuert, und dem zweiten, naiven Mitspieler, der das Ausstellungsstück zum ersten Mal besichtigt. Der "wissende" Mitwirkende sitzt am "Videodesk", der ähnlich operiert wie das "Videoplace"-Environment. Die Person am Desk kann mit jener im "Videoplace" unter Verwendung eines Abbilds seiner oder ihrer Hände interagieren. Zusätzlich steuert der Videodesk-Operator die Auswahl der Interaktionen aus einem Menu. Die Person am Desk, Ersatz für ein System künstlicher Intelligenz mit einem Vaudeville-artigen Sinn für Humor, das ad libitum Interaktionen aus der Situation erfindet, trifft Entscheidungen, die irgendwann einmal vom Computer getroffen werden sollen.

Technischer Hintergrund

Die Gesamtsteuerung des Systems wird von einem National 32016 Prozessor über einen Multibus getätigt. Die"Videoplace"-Hardware läuft auf einer spezialisierten Busstruktur, die große Flexibilität in der Mischung von Videobildern, Standardgrafiken und den Output von spezialisierten Grafikgeneratoren zuläßt. Ein Gutteil der Programmierung erfolgt in C, obwohl jeder der Subprozessoren eine spezialisierte Architektur aufweist, die durch ihren eigenen Microcode gesteuert wird. Die zwölf Spezialprozessoren arbeiten parallel zum Hauptprozessor. Ihnen wird angeschafft, was sie tun sollen, und das führen sie aus, bis ihre Verhaltensregeln geändert werden. Der Klang wird durch zwei ATT WE 32 Digitalsignalprozessoren generiert, von denen der eine eine Fouriersynthese ausfährt und der andere das Verhalten von 16 Kanälen einmal pro Millisekunde moduliert.