The Responsive Window turns taps on glass into an information interface. Sensors capture all the characteristics of the window knock - location, intensity of hit, and type of hit (e.g., bare hand or hard object).
Interactive graphics dynamically respond to all of these parameters and are projected onto a holographic screen placed behind the glass. This glass wall is again a boundary, this time between the real and the synthetic, across which we are invited to knock.
Glass is nowadays a ubiquitous medium in modern construction. It appears in many forms, such as room dividers, windows, or in some instances exterior sidings for entire buildings. Its main function is to prevent matter from passing through whilst allowing visible photons to flow freely across. When we look at a glass partition, we can, thus, freely gaze into the world on the other side (and potentially vice-versa), but our physical influence on that world is limited to actions at the boundary, such as knocking and tapping. As a result, people have honed their knocks and taps into practiced techniques, being able to express various levels of affect, intention, and personality through how hard or in what manner they strike the glass.
With the exception of relatively small touch-screen monitors, glass panes are still mainly uninstrumented and non-interactive. The basic technology to turn taps on glass into an information interface is, however, very inexpensive and already commonly employed. The glass panes enclosing urban shopfronts frequently feature an array of attached acoustic sensors. The only event these detect, however, is a catastrophic one - an impact so hard that the glass breaks and a theft or vandalism can be assumed. These same simple sensors, with some signal processing, can be used to detect, track, and characterize softer knocks and taps, allowing very large glass surfaces to become truly interactive for much less aggressive (and more legal) degrees of expression.
We can accomplish this by measuring the time it takes the bending-wave impulse created by the impact of the hand to reach piezoelectric contact microphones laminated to the glass plate at four corner locations. The difference in arrival times of the acoustic energy at each pickup (inferred through a simple algorithm running in a digital signal processor) determines the location of the impact. The amplitude of these signals similarly reflects how hard the glass was knocked, and the frequency of the impact waveform allows one to infer the kind of object that made contact (e.g., a soft knuckle or metal ring).
The idea first struck me when contemplating interfaces for an interactive digital fish tank. Here the glass around the tank is clearly the boundary into a very different world, and few can resist the temptation to jar its denizens by tapping on the surface. Shortly afterward, we demonstrated this acoustic time-of-flight tracking scheme in collaboration with Hiroshi Ishii's Tangible Media Group for the PP+ project - a sensate ping pong table that used this technique to quickly locate the impacts of the ping pong ball and generate corresponding real-time graphics projected onto the table's surface. We next turned our attention to adopting this method for locating knocks and taps on large glass surfaces, a much harder problem due to the non-repeatable characteristics of the knocks together with the faster propagation velocity and dispersive nature of bending waves in the glass.
This *Interactive Window* project represents the current culmination of our efforts. Our sensors capture all the characteristics of the window knock - location, intensity of hit, and type of hit (e.g., bare hand or hard object). Interactive graphics developed by Ben Fry of John Maeda's Aesthetics and Computation Group dynamically respond to all of these parameters and are projected onto a holographic screen placed behind the glass. This glass wall is again a boundary, this time between the real and the synthetic, across which we are invited to knock.
The Reactive Window
1. – 6. 9. 2001
10.00 – 19.00
Ars Electronica Center
The Responsive Window verwandelt Klopfen auf Glas in ein Informationsinterface. Sensoren nehmen alle Eigenschaften des Klopfens auf: Ort, Intensität und Art des Schlags (z. B. mit der bloßen Hand oder einem harten Gegenstand).
Interaktive Grafiken reagieren auf all diese Parameter dynamisch und werden auf einem holografischen Schirm hinter dem Glas projiziert. Diese Glaswand ist wiederum eine Grenze – zwischen der realen und einer synthetischen Welt, an der wir anklopfen sollen.
Glas ist im modernen Bauwesen allgegenwärtig. Es wird als Raumteiler, Fenster oder Fassade für ganze Gebäude eingesetzt. Seine Hauptfunktion besteht darin, Stoffe vom Eindringen abzuhalten, während sichtbare Photonen ungehindert hindurchströmen können. Betrachtet man eine Glaswand, so kann man in die Welt auf der anderen Seite blicken (und meist auch umgekehrt), aber unsere physische Einflussnahme auf diese Welt ist auf Akte wie Klopfen oder Trommeln an deren Grenze beschränkt. Allerdings hat man das Klopfen und Trommeln so weit perfektioniert, dass durch Stärke und Art der Schläge verschiedene Stufen von Emotionen, Intentionen und Persönlichkeit ausgedrückt werden.
Abgesehen von relativ kleinen Touch-Screen-Monitoren wurden Glasscheiben weder als Instrumente noch interaktiv genutzt. Die grundlegende Technik, um das Klopfen auf Glas in ein Informationsinterface umzuwandeln, ist allerdings sehr preiswert und bereits vielfach eingesetzt. Die Schaufensterscheiben unserer Städte sind meist mit akustischen Sensoren ausgestattet. Sie erkennen allerdings nur einen Extremfall: Wenn die Einwirkung so stark ist, dass das Glas bricht und man von einem Einbruch oder einem Vandalenakt ausgehen kann. Dieselben einfachen Sensoren können – nach einer kleinen Signalbearbeitung – dazu eingesetzt werden, sanfteres Klopfen und Trommeln zu erkennen, zu orten und zu qualifizieren, wodurch große Glasflächen zu interaktiven Instrumenten für wesentlich weniger aggressive (und legalere) Ausdrucksformen werden.
Man misst dazu die Zeit, die die durch den Schlag mit der Hand ausgelöste Biegeschwingung benötigt, um die an vier Ecken der Glasscheibe laminierten piezoelektrischen Kontaktmikrophone zu erreichen. Die an den einzelnen Tonabnehmern ermittelten Laufzeitunterschiede des akustischen Impulses bestimmen (über einen einfachen Algorithmus in einem digitalen Signalprozessor) den Ort des Schlags. Ähnlich lässt die Amplitude des Signals Rückschlüsse auf die Stärke des Schlags und die Frequenz der Biegeschwingung solche auf das benutzte Objekt (z. B. ein Knöchel oder ein Metallring) zu.
Die Idee dazu hatte ich, als ich mir Gedanken zu Interfaces für ein interaktives digitales Aquarium machte. Das Glas ist hier in der Tat die Grenze zu einer völlig anderen Welt, und nur wenige können der Versuchung widerstehen, seine Bewohner durch Klopfen aufzuschrecken. Kurz darauf setzten wir in Zusammenarbeit mit der *Tangible Media Group* von Hiroshi Ishii dieses akustische Laufzeiterfassungssystem für das *PingPongPlus*-Projekt ein – ein mit Sensoren ausgestatteter Tischtennistisch, der durch diese Technik das Auftreffen des Balls ortete und entsprechende Grafiken in Echtzeit generierte, die auf die Tischoberfläche projiziert wurden. Als Nächstes entwickelten wir die Methode weiter, um das Klopfen und Trommeln auf großen Glasflächen zu lokalisieren, was aufgrund des sich nicht wiederholenden Klopfens sowie der schnelleren Ausbreitungsgeschwindigkeit und der Ausbreitungsart der Biegeschwingungen in Glas wesentlich schwieriger war.
Das Projekt *Interactive Window* stellt den aktuellen Stand unserer Bemühungen dar. Die Sensoren nehmen alle Eigenschaften des Klopfens auf: Ort, Intensität und Art des Schlags (z. B. mit der bloßen Hand oder einem harten Gegenstand). Ben Fry von der John Maeda's Aesthetics and Computation Group hat interaktive Grafiken gestaltet, die auf alle diese Parameter dynamisch reagieren und auf einem holografischen Schirm hinter dem Glas projiziert werden. Diese Glaswand ist wiederum eine Grenze – zwischen der realen und einer synthetischen Welt, an der wir anklopfen sollen.
The Reactive Window
1. – 6. 9. 2001
10.00 – 19.00
Ars Electronica Center
