The Responsive Window

2001

Gerfried Stocker (AT)
Gerold Hofstadler (AT)
Benjamin Fry (US)
Joseph Paradiso (US)
Che King Leo (US)
Kaijen Hsiao (US)
Nisha Checka (US)
Josh Lifton (US)

"The Responsive Window" verwandelt Klopfen auf Glas in ein Informationsinterface. Sensoren nehmen alle Eigenschaften des Klopfens auf: Ort, Intensität und Art des Schlags (z. B. mit der bloßen Hand oder einem harten Gegenstand). Interaktive Grafiken reagieren auf all diese Parameter dynamisch und werden auf einem holografischen Schirm hinter dem Glas projiziert. Diese Glaswand ist wiederum eine Grenze – zwischen der realen und einer synthetischen Welt, an der wir anklopfen sollen.

Glas ist im modernen Bauwesen allgegenwärtig. Es wird als Raumteiler, Fenster oder Fassade für ganze Gebäude eingesetzt. Seine Hauptfunktion besteht darin, Stoffe vom Eindringen abzuhalten, während sichtbare Photonen ungehindert hindurchströmen können.

Betrachtet man eine Glaswand, so kann man in die Welt auf der anderen Seite blicken (und meist auch umgekehrt), aber unsere physische Einflussnahme auf diese Welt ist auf Akte wie Klopfen oder Trommeln an deren Grenze beschränkt. Allerdings hat man das Klopfen und Trommeln so weit perfektioniert, dass durch Stärke und Art der Schläge verschiedene Stufen von Emotionen, Intentionen und Persönlichkeit ausgedrückt werden.

Abgesehen von relativ kleinen Touch-Screen-Monitoren wurden Glasscheiben weder als Instrumente noch interaktiv genutzt. Die grundlegende Technik, um das Klopfen auf Glas in ein Informationsinterface umzuwandeln, ist allerdings sehr preiswert und bereits vielfach eingesetzt. Die Schaufensterscheiben unserer Städte sind meist mit akustischen Sensoren ausgestattet. Sie erkennen allerdings nur einen Extremfall: Wenn die Einwirkung so stark ist, dass das Glas bricht und man von einem Einbruch oder einem Vandalenakt ausgehen kann.

Dieselben einfachen Sensoren können – nach einer kleinen Signalbearbeitung – dazu eingesetzt werden, sanfteres Klopfen und Trommeln zu erkennen, zu orten und zu qualifizieren, wodurch große Glasflächen zu interaktiven Instrumenten für wesentlich weniger aggressive (und legalere) Ausdrucksformen werden. Man misst dazu die Zeit, die die durch den Schlag mit der Hand ausgelöste Biegeschwingung benötigt, um die an vier Ecken der Glasscheibe laminierten piezoelektrischen Kontaktmikrophone zu erreichen.

Die an den einzelnen Tonabnehmern ermittelten Laufzeitunterschiede des akustischen Impulses bestimmen (über einen einfachen Algorithmus in einem digitalen Signalprozessor) den Ort des Schlags. Ähnlich lässt die Amplitude des Signals Rückschlüsse auf die Stärke des Schlags und die Frequenz der Biegeschwingung solche auf das benutzte Objekt (z. B. ein Knöchel oder ein Metallring) zu.

Die Idee dazu hatte ich, als ich mir Gedanken zu Interfaces für ein interaktives digitales Aquarium machte. Das Glas ist hier in der Tat die Grenze zu einer völlig anderen Welt, und nur wenige können der Versuchung widerstehen, seine Bewohner durch Klopfen aufzuschrecken.

Kurz darauf setzten wir in Zusammenarbeit mit der Tangible Media Group von Hiroshi Ishii dieses akustische Laufzeiterfassungssystem für das "PingPongPlus"-Projekt ein – ein mit Sensoren ausgestatteter Tischtennistisch, der durch diese Technik das Auftreffen des Balls ortete und entsprechende Grafiken in Echtzeit generierte, die auf die Tischoberfläche projiziert wurden.

Als Nächstes entwickelten wir die Methode weiter, um das Klopfen und Trommeln auf großen Glasflächen zu lokalisieren, was aufgrund des sich nicht wiederholenden Klopfens sowie der schnelleren Ausbreitungsgeschwindigkeit und der Ausbreitungsart der Biegeschwingungen in Glas wesentlich schwieriger war.

Das Projekt "Responsive Window" stellt den aktuellen Stand unserer Bemühungen dar. Die Sensoren nehmen alle Eigenschaften des Klopfens auf: Ort, Intensität und Art des Schlags (z. B. mit der bloßen Hand oder einem harten Gegenstand).