Credit: Francele Cocco
GIIP—International and Interinstitutional Research Group on Convergences between Art, Science and Technology, State University of São Paulo (UNESP) – Arts Institute (BR)
Natural Intelligence – NI ist eine Auswahl von Arbeiten der Forschungsgruppe GIIP (International and Interinstitutional Research Group on Convergences between Art, Science and Technology) und ihren Partnern cAT (science, art and technology), die beide an der Staatlichen Universität São Paulo UNESP angesiedelt sind; Realidades von der Universität São Paulo und Design and Body von der Universität Anhembi Morumbi, einer privaten Universität in São Paulo.
Die entwickelten assistiven Interfaces zielen darauf ab, Menschen mit körperlichen und geistigen Beeinträchtigungen und/oder bewegungseingeschränkte Menschen wieder in die Lage zu versetzen, zu sprechen, etwas zu produzieren und Kunst zu unterrichten – inklusive dreidimensionaler Szenerien und Sound. Die theoretische Basis dazu sind Studien zur Multimodalität und Multisensorialität aus der neurowissenschaftlichen Forschung.
Alle Prototypen werden durch Re-Engineering, Maßanfertigungen, günstigen Technologien und Open-Source-Codes entwickelt. Die Arbeit der WissenschaftlerInnen bedarf keiner Hochtechnologie, im Gegenteil: Sie wollen mit altem Wissen arbeiten, das auch Laien zur Verfügung steht, damit möglichst viele Menschen kollaborative künstlerische Projekte umsetzen können.
Credits
Besonderer Dank gilt Juntos Com Você (Gemeinsam mit dir), einer Stiftung für soziales Crowdfunding, die es uns ermöglichte, die für diese Ausstellung notwendigen Gelder aufzutreiben, und allen Spendern und Spenderinnen, die sich an dieser Kampagne beteiligt haben. Dank gilt ebenso dem Institute of Arts von UNESP, der São Paulo Research Foundation – FAPESP, CAPES und dem National Council for Scientific and Technological Development (CNPq) für die Forschungsstipendien der Mitglieder von GIIP. Dank gebührt auch der São Paulo Research Foundation – FAPESP, die diese Reise zu diesem Event ermöglicht hat.
Ohne die Forschung seitens Efraín Foglia, Ana Amália Barbosa, Renato Hildebrand und Daniel Paz in der ersten Phase des Projekts zu assistiven Interfaces und die Unterstützung seitens Samara Andressa Del Monte und ihrer Familie wären die Beteiligten nicht in der Lage gewesen, den aktuellen Stand der Forschung zu erreichen.
Research Groups:
GIIP—International and Interinstitutional Group for Research on Convergences between Art, Science and Technology, Arts Institute, State University of São Paulo (UNESP)
Director: Rosangella Leote
cAt—Research Group Science / Arts / Technology, Arts Institute, State University of São Paulo (UNESP)
Directors: Milton Sogabe and Fernando Fogliano
Realidades—Research Group Realities: from tangible realities to ontological realities, School of Communications and Arts (ECA), São Paulo University (USP)
Director: Silvia Laurentiz
Design and Body Research Group, University Anhembi/Morumbi
Director: Agda Carvalho
Não se aproxime / Do not come closer
Dr. Rosangella Leote (BR), Fernanda Duarte (BR), Rodrigo Rezende (BR)
Der gefesselte Körper des Performers ist eine Videoprojektion, in der die nackte und die bekleidete Gestalt verschmelzen und nach Annäherung verlangen. Wenn man sich nähert, verändert der Interagierende das Bild durch Ultraschallsensoren innerhalb eines gekennzeichneten Bereichs. Versucht man, sich in der Nähe des Monitors zu platzieren, kann die nackte Gestalt nicht gesehen werden.
Collaborator: Miguel Alonso (BR)
Hatred Apparatus
Fabrízio Poltronieri (BR), Nicolau Centola (BR), German Alfonso Nunez (BR)
Wenn sich dieser Apparat mit dem Netz verbindet, fängt er automatisch Kommentare von Usern und Userinnen von Nachrichtenseiten ein, die in einer Datenbank gespeichert und nach einem Zufallsmechanismus automatisch auf Facebook und Twitter gepostet werden. Die Absicht hinter diesem Spiel ist es, nicht die Kommentare selbst zu verdammen, sondern sie der Öffentlichkeit in einem Setting zu präsentieren, das sie aus ihrem ursprünglichen Kontext herauslöst – den täglichen Social-Media-Geschichten.
RONIN—Wearable object
Agda Carvalho (BR), Edilson Ferri (BR)
Diese Arbeit wendet sich an Menschen, die im Zuge von Konflikten und anderen Notsituationen vertrieben wurden oder sich in einer Transit-Situation befinden. Sie präsentiert ein programmiertes, scheinbar zielloses Set an Bewegungen. Die Route und die Kleidung ist ähnlich der eines Wanderers; eine Hülle, die die Abweichungen in der Route aufzeichnet, zeigt die Informationen auf der Oberfläche der Kleidung.
Collaborators: Ariadne Cordeiro, Lisete Carvalho, Wellington Moreira, Miguel Jacobut
Sopro / The blow
Milton Sogabe (BR), Fernando Fogliano (BR), Fabio Oliveira Nunes (BR), Soraya Braz (BR), Carolina Peres (BR), Cleber Gazana (BR), Rodrigo Dorta Marques (BR), Mirian Steinberg (BR), Daniel Malva (BR)
Sopro erhält seine Energie direkt vom Publikum, das dank seiner Kraft einen Propeller antreibt. Die Arbeit basiert auf einem simplen technologischen System, der Poesie des Akts des Pustens und grundlegenden wissenschaftlichen Prinzipien. In diesem noch in Entwicklung befindlichen System ergibt die bereits generierte Energie eine „Melodie“. Das Projekt ist im postdigitalen Denken verwurzelt und thematisiert Fragen rund um Nachhaltigkeit.
Quem Sou Eu Se Não Você Em Mim / Who Am I If Not You On Me
Daniel Malva (BR)
Dieses Projekt besteht aus einer Reihe von GIF-Sequenzen, die mittels Techniken des maschinellen Lernens generiert wurden, in diesem Fall mit Deep Style, einem Tool von Google. Die dafür verwendeten Bilder wurden mit einem Smartphone fotografiert; später wurde die Software 40 Mal auf ein Porträt angewandt, um Modifizierungen des Originalbildes zu erreichen, Diese stellen die Spuren dar, die Leute im Künstler hinterlassen haben.
Enigma 3.2—φ: Um Enigma para Gibson
Silvia Laurentiz (BR), Marcus Bastos (BR), Cássia Aranha (BR), Dario Vargas (CO), Lali Krotoszynski (BR), Loren Bergantini (BR), Sergio Venâncio (BR)
Phi ist Teil einer Serie interaktiver Installationen namens Enigmas, deren poetische audiovisuelle System ästhetische Operationen durchführen. Sie spiegeln Fragen wider, die sich bei der Lektüre von Autoren wie Flusser, Bergson und Gibson ergeben haben. Die Arbeit verwendet Webcams, die in Echtzeit die Veränderungen beziehungsweise die Beständigkeit von Licht im Ausstellungsbereich messen. Alle Daten, die auf diese Weise gesammelt werden, werden in einfarbige Linien und synthetische Klänge verwandelt.
Driftscope
Objective Passional Terrains
Lucas Pretti (BR), Tiago F. Pimentel (BR)
Diese Arbeit ist ein Helm, der die Stadt „fühlt“. Der tragbare Apparat, der mit einem Raspberry Pi 3, zwei Kameras (objektive und subjektive) und fünf Umweltsensoren ausgestattet ist, wird durch den Gesichtsausdruck des umhergehenden Künstlers ausgelöst. Die so gesammelten Daten lassen eine „Psychotopologie“ einer Stadt entstehen. Die Erfahrung wird in einer interaktiven Installation nachvollziehbar gemacht.
Filmattraktionen 1:04
Jorge Ribail (CU), Rodrigo Rezende (BR), Fabio Rodrigues (BR), Fernanda Duarte (BR)
Filmattraktionen 1:04 ist eine interaktive Videoinstallation, bei der eine Software eine circa eine Minute lange Filmsequenz schneidet und präsentiert, die aus einem politischen Quiz besteht, dessen Fragen von einem Interagierenden beantwortet werden. Das eigentliche Ziel dieser Installation besteht darin, einen kinematografischen Diskurs zu gestalten, der jenen Prozessen gleichkommen soll, die im menschlichen kognitiven System ablaufen.
Immersive.architecture.generator_v17.07.03
Alexander Peterhaensel (DE)
Die Installation zeigt Ausschnitte aus Aufnahmen einer Live-Interaktion mit einem immersiven Architekturgenerator. Sie dokumentiert, wie UserInnen mit einer audiovisuellen virtuellen Umgebung interagieren, die wie ein Musikinstrument gespielt werden kann. Die Arbeit ist eine Virtual-Reality-Anwendung, in der AnwenderInnen mit einer adaptiven virtuellen Architektur interagieren, die in Echtzeit auf deren Verhalten reagiert.
Somewhat like being alive (Reality collider)
Rodrigo Rezende (BR), Lucas Gorzynski (BR), Fernanda Duarte (BR), Helimar Macedo (BR)
Somewhat like being alive (Reality Collider) ist ein Setting für interaktive audiovisuelle Kunst, in dem das Publikum mit einem kleinen Gerät Daten generiert, indem es einen Kreisel rotieren lässt. Diese Daten bestimmen, welche Bilder auf die Wand projiziert werden. Sie definieren auch gewisse Eigenschaften und die Sounds, die von Verstärkern reproduziert werden.
Sketch of Making art with the eyes spectacle
Dr. Rosangella Leote (BR), Nigel Anderson (BR), Daniel Paz (BR)
Diese Performance besteht aus Interaktionen zwischen einem Interface für assistive Technologie, die von GIIP entwickelt wurde, dem ARTIA.V, einem Eye-Tracker, den das Publikum verwendet, dem Tänzer, dessen Körper mit verfolgbaren Tags bestückt ist, sowie einer Live-Soundkomposition. Die Performance ist Teil der Tanzperformance Making art with eyes, die 2017 in Brasilien aufgeführt wurde.
Teclaut
Dr. Rosangella Leote (BR)
Teclaut ist ein analoges Interface, das die Open-Source-Software ACAT (Assistive Context-Aware Toolkit) von Intel verwendet. Es wurde konzipiert für Menschen mit unterschiedlichen Arten von Behinderungen, vor allem für Fälle von zerebraler Lähmung und Locked-In-Syndrom, solange ein Teil des Körpers bewegt werden kann, um mit dem Gerät zu interagieren. Die Technologie birgt großes soziales Potenzial. Teclaut ist individuell anpassbar und kann innerhalb einer Stunde eingerichtet werden. Es eignet sich auch für politische Bildung in Schulklassen oder als Hilfsmittel bei Lese- und Schreibproblemen.
ARTIA Project
Dr. Rosangella Leote (BR), Rodrigo Rezende (BR), Rodrigo Dorta (BR) and Daniel Paz (BR)
ARTIA-V ist ein Interface, das Eye-Tracking für die Produktion und die Lehre von Kunst verwendet. In Zukunft sollen folgende Bereiche unterstützt werden: 2D- und 3D-Zeichnen und -Malen, Bildhauerei per 3D-Druck, Fotografie, schriftliche Kommunikation, Sprache via Klangdatenbank oder automatische Texterkennung.
