Die entwickelten assistiven Interfaces zielen darauf ab, Menschen mit körperlichen und geistigen Beeinträchtigungen und/oder bewegungseingeschränkte Menschen wieder in die Lage zu versetzen, zu sprechen, etwas zu produzieren und Kunst zu unterrichten – inklusive dreidimensionaler Szenerien und Sound. Die theoretische Basis dazu sind Studien zur Multimodalität und Multisensorialität aus der neurowissenschaftlichen Forschung.

Alle Prototypen werden durch Re-Engineering, Maßanfertigungen, günstigen Technologien und Open-Source-Codes entwickelt. Die Arbeit der WissenschaftlerInnen bedarf keiner Hochtechnologie, im Gegenteil: Sie wollen mit altem Wissen arbeiten, das auch Laien zur Verfügung steht, damit möglichst viele Menschen kollaborative künstlerische Projekte umsetzen können.

Credits

Besonderer Dank gilt Juntos Com Você (Gemeinsam mit dir), einer Stiftung für soziales Crowdfunding, die es uns ermöglichte, die für diese Ausstellung notwendigen Gelder aufzutreiben, und allen Spendern und Spenderinnen, die sich an dieser Kampagne beteiligt haben. Dank gilt ebenso dem Institute of Arts von UNESP, der São Paulo Research Foundation – FAPESP, CAPES und dem National Council for Scientific and Technological Development (CNPq) für die Forschungsstipendien der Mitglieder von GIIP. Dank gebührt auch der São Paulo Research Foundation – FAPESP, die diese Reise zu diesem Event ermöglicht hat.

Ohne die Forschung seitens Efraín Foglia, Ana Amália Barbosa, Renato Hildebrand und Daniel Paz in der ersten Phase des Projekts zu assistiven Interfaces und die Unterstützung seitens Samara Andressa Del Monte und ihrer Familie wären die Beteiligten nicht in der Lage gewesen, den aktuellen Stand der Forschung zu erreichen.

Research Groups:

GIIP—International and Interinstitutional Group for Research on Convergences between Art, Science and Technology, Arts Institute, State University of São Paulo (UNESP)

Director: Rosangella Leote

cAt—Research Group Science / Arts / Technology, Arts Institute, State University of São Paulo (UNESP)

Directors: Milton Sogabe and Fernando Fogliano

Realidades—Research Group Realities: from tangible realities to ontological realities, School of Communications and Arts (ECA), São Paulo University (USP)

Director: Silvia Laurentiz

Design and Body Research Group, University Anhembi/Morumbi

Director: Agda Carvalho

Não se aproxime / Do not come closer

Dr. Rosangella Leote (BR), Fernanda Duarte (BR), Rodrigo Rezende (BR)

Der gefesselte Körper des Performers ist eine Videoprojektion, in der die nackte und die bekleidete Gestalt verschmelzen und nach Annäherung verlangen. Wenn man sich nähert, verändert der Interagierende das Bild durch Ultraschallsensoren innerhalb eines gekennzeichneten Bereichs. Versucht man, sich in der Nähe des Monitors zu platzieren, kann die nackte Gestalt nicht gesehen werden.

Collaborator: Miguel Alonso (BR)

Hatred Apparatus

Fabrízio Poltronieri (BR), Nicolau Centola (BR), German Alfonso Nunez (BR)

Wenn sich dieser Apparat mit dem Netz verbindet, fängt er automatisch Kommentare von Usern und Userinnen von Nachrichtenseiten ein, die in einer Datenbank gespeichert und nach einem Zufallsmechanismus automatisch auf Facebook und Twitter gepostet werden. Die Absicht hinter diesem Spiel ist es, nicht die Kommentare selbst zu verdammen, sondern sie der Öffentlichkeit in einem Setting zu präsentieren, das sie aus ihrem ursprünglichen Kontext herauslöst – den täglichen Social-Media-Geschichten.

RONIN—Wearable object

Agda Carvalho (BR), Edilson Ferri (BR)

Diese Arbeit wendet sich an Menschen, die im Zuge von Konflikten und anderen Notsituationen vertrieben wurden oder sich in einer Transit-Situation befinden. Sie präsentiert ein programmiertes, scheinbar zielloses Set an Bewegungen. Die Route und die Kleidung ist ähnlich der eines Wanderers; eine Hülle, die die Abweichungen in der Route aufzeichnet, zeigt die Informationen auf der Oberfläche der Kleidung.

Collaborators: Ariadne Cordeiro, Lisete Carvalho, Wellington Moreira, Miguel Jacobut

Sopro / The blow

Milton Sogabe (BR), Fernando Fogliano (BR), Fabio Oliveira Nunes (BR), Soraya Braz (BR), Carolina Peres (BR), Cleber Gazana (BR), Rodrigo Dorta Marques (BR), Mirian Steinberg (BR), Daniel Malva (BR)

Sopro erhält seine Energie direkt vom Publikum, das dank seiner Kraft einen Propeller antreibt. Die Arbeit basiert auf einem simplen technologischen System, der Poesie des Akts des Pustens und grundlegenden wissenschaftlichen Prinzipien. In diesem noch in Entwicklung befindlichen System ergibt die bereits generierte Energie eine „Melodie“. Das Projekt ist im postdigitalen Denken verwurzelt und thematisiert Fragen rund um Nachhaltigkeit.

Quem Sou Eu Se Não Você Em Mim / Who Am I If Not You On Me

Daniel Malva (BR)

Dieses Projekt besteht aus einer Reihe von GIF-Sequenzen, die mittels Techniken des maschinellen Lernens generiert wurden, in diesem Fall mit Deep Style, einem Tool von Google. Die dafür verwendeten Bilder wurden mit einem Smartphone fotografiert; später wurde die Software 40 Mal auf ein Porträt angewandt, um Modifizierungen des Originalbildes zu erreichen, Diese stellen die Spuren dar, die Leute im Künstler hinterlassen haben.

Enigma 3.2—φ: Um Enigma para Gibson

Silvia Laurentiz (BR), Marcus Bastos (BR), Cássia Aranha (BR), Dario Vargas (CO), Lali Krotoszynski (BR), Loren Bergantini (BR), Sergio Venâncio (BR)

Phi ist Teil einer Serie interaktiver Installationen namens Enigmas, deren poetische audiovisuelle System ästhetische Operationen durchführen. Sie spiegeln Fragen wider, die sich bei der Lektüre von Autoren wie Flusser, Bergson und Gibson ergeben haben. Die Arbeit verwendet Webcams, die in Echtzeit die Veränderungen beziehungsweise die Beständigkeit von Licht im Ausstellungsbereich messen. Alle Daten, die auf diese Weise gesammelt werden, werden in einfarbige Linien und synthetische Klänge verwandelt.

Driftscope

Objective Passional Terrains

Lucas Pretti (BR), Tiago F. Pimentel (BR)

Diese Arbeit ist ein Helm, der die Stadt „fühlt“. Der tragbare Apparat, der mit einem Raspberry Pi 3, zwei Kameras (objektive und subjektive) und fünf Umweltsensoren ausgestattet ist, wird durch den Gesichtsausdruck des umhergehenden Künstlers ausgelöst. Die so gesammelten Daten lassen eine „Psychotopologie“ einer Stadt entstehen. Die Erfahrung wird in einer interaktiven Installation nachvollziehbar gemacht.

http://terrenos-apaixonantemente-objetivos.cc/

Filmattraktionen 1:04

Jorge Ribail (CU), Rodrigo Rezende (BR), Fabio Rodrigues (BR), Fernanda Duarte (BR)

Filmattraktionen 1:04 ist eine interaktive Videoinstallation, bei der eine Software eine circa eine Minute lange Filmsequenz schneidet und präsentiert, die aus einem politischen Quiz besteht, dessen Fragen von einem Interagierenden beantwortet werden. Das eigentliche Ziel dieser Installation besteht darin, einen kinematografischen Diskurs zu gestalten, der jenen Prozessen gleichkommen soll, die im menschlichen kognitiven System ablaufen.

Immersive.architecture.generator_v17.07.03

Alexander Peterhaensel (DE)

Die Installation zeigt Ausschnitte aus Aufnahmen einer Live-Interaktion mit einem immersiven Architekturgenerator. Sie dokumentiert, wie UserInnen mit einer audiovisuellen virtuellen Umgebung interagieren, die wie ein Musikinstrument gespielt werden kann. Die Arbeit ist eine Virtual-Reality-Anwendung, in der AnwenderInnen mit einer adaptiven virtuellen Architektur interagieren, die in Echtzeit auf deren Verhalten reagiert.

Somewhat like being alive (Reality collider)

Rodrigo Rezende (BR), Lucas Gorzynski (BR), Fernanda Duarte (BR), Helimar Macedo (BR)

Somewhat like being alive (Reality Collider) ist ein Setting für interaktive audiovisuelle Kunst, in dem das Publikum mit einem kleinen Gerät Daten generiert, indem es einen Kreisel rotieren lässt. Diese Daten bestimmen, welche Bilder auf die Wand projiziert werden. Sie definieren auch gewisse Eigenschaften und die Sounds, die von Verstärkern reproduziert werden.

Sketch of Making art with the eyes spectacle

Dr. Rosangella Leote (BR), Nigel Anderson (BR), Daniel Paz (BR)

Diese Performance besteht aus Interaktionen zwischen einem Interface für assistive Technologie, die von GIIP entwickelt wurde, dem ARTIA.V, einem Eye-Tracker, den das Publikum verwendet, dem Tänzer, dessen Körper mit verfolgbaren Tags bestückt ist, sowie einer Live-Soundkomposition. Die Performance ist Teil der Tanzperformance Making art with eyes, die 2017 in Brasilien aufgeführt wurde.

Teclaut

Dr. Rosangella Leote (BR)

Teclaut ist ein analoges Interface, das die Open-Source-Software ACAT (Assistive Context-Aware Toolkit) von Intel verwendet. Es wurde konzipiert für Menschen mit unterschiedlichen Arten von Behinderungen, vor allem für Fälle von zerebraler Lähmung und Locked-In-Syndrom, solange ein Teil des Körpers bewegt werden kann, um mit dem Gerät zu interagieren. Die Technologie birgt großes soziales Potenzial. Teclaut ist individuell anpassbar und kann innerhalb einer Stunde eingerichtet werden. Es eignet sich auch für politische Bildung in Schulklassen oder als Hilfsmittel bei Lese- und Schreibproblemen.

ARTIA Project

Dr. Rosangella Leote (BR), Rodrigo Rezende (BR), Rodrigo Dorta (BR) and Daniel Paz (BR)

ARTIA-V ist ein Interface, das Eye-Tracking für die Produktion und die Lehre von Kunst verwendet. In Zukunft sollen folgende Bereiche unterstützt werden: 2D- und 3D-Zeichnen und -Malen, Bildhauerei per 3D-Druck, Fotografie, schriftliche Kommunikation, Sprache via Klangdatenbank oder automatische Texterkennung.