imitation – Artificial Intelligence https://ars.electronica.art/ai/de Ars Electronica Festival 2017 Tue, 28 Jun 2022 13:43:24 +0000 de-DE hourly 1 https://wordpress.org/?v=4.9.6 Synthesizing Obama: Learning Lip Sync from Audio https://ars.electronica.art/ai/de/synthesizing-obama/ Tue, 08 Aug 2017 21:25:46 +0000 https://ars.electronica.art/ai/?p=3438

Supasorn Suwajanakorn (TH), Steven Seitz (US), Ira Kemelmacher-Shlizerman (IL)

Ein Tondokument von Barack Obama wird in ein Video übertragen. Dank exakter Lippensynchronisation entsteht der Eindruck, Obama sei direkt gefilmt worden.

Die WissenschaftlerInnen trainierten ein rückgekoppeltes neuronales Netzwerk viele Stunden lang mit den wöchentlichen Ansprachen Obamas, von Audiodaten bis hin zu den Mundbewegungen. Seine Mundform wird dabei immer wieder synthetisiert, also künstlich nachgestellt und durch 3D Daten an die aktuelle Situation angepasst: Dadurch sind die Tonspur und das Video perfekt aufeinander abgestimmt und erzeugen beeindruckende fotorealistische Ergebnisse entstehen.

Credits

GRAIL Lab @ University of Washington

]]>