Deepfakes nie były perfekcyjne? AI zadba o poprawna mimikę

Hasło deepfakes wywołało spore zamieszanie w sieci, kiedy okazało się że algorytmy głębokiego nauczania zaczynają świetnie radzić sobie z podmianą twarzy w filmach. Udostępnione narzędzia i przykładowe filmy stały się przyczynkiem do zabawy w zamianę wizerunku aktorów, najczęściej tych odgrywających rolę w filmach pornograficznych. Zanim zabawa dobrze się rozkręciła, zdecydowano o zamknięciu wątków związanych z tą nową dziedziną rozrywki internautów na wielu forach dyskusyjnych. Czy zabawa w deepfakes wygasła? Niekoniecznie. Na odsiecz właśnie przychodzą algorytmy Deep Video Portraits. Jeśli zostaną udostępnione narzędzia korzystające z metod przedstawionych w filmie i dokumencie, na kolejną falę sfałszowanych filmów nie będzie trzeba długo czekać.

Algorytmy umożliwiające przenoszenie mimiki twarzy mogą stać się potężnym narzędziem w rękach producentów filmowych. Albo kolejną zabawką która wygeneruje miliony memów.

Tym razem może być jeszcze ciekawej – prezentacja zatytułowana „Deep Video Portraits”, którą po raz pierwszy mogli zobaczyć uczestnicy tegorocznego SIGGRAPH-u, wprowadziła nowe elementy do techniki określanej ogólnym mianem deepfakes. Zamiast podmieniać wyłącznie twarz, co niekiedy prowadzi do komicznych rezultatów, algorytmy zadbają o poprawne zmapowanie głowy, odtwarzając i przenosząc na inną postać wszystkie elementy związane z ruchem wykonywanym podczas wypowiedzi oraz mimiką. Na zaprezentowanych przykładach z byłym prezydentem USA, Barackiem Obamą, w krótkim nagraniu widać wyraźną różnicę – algorytmy odtwarzają wszystkie elementy mimiki twarzy, w tym mrugnięcia oczu, poruszenie brwiami, skrzywienie ust, pochylenie głowy. Putin z wyrazem twarzy Obamy? Nie ma sprawy.

Twitter, Reddit i Pornhub wypowiadają wojnę deepfakes porno

Nie bez powodu mięśnie mimiczne to jedna z najliczniejszych grup mięśni ludzkiego organizmu. To dzięki nim przekazujemy emocje, nieświadome komunikaty, oddają też nasz indywidualny charakter. Na razie, zaprezentowane na przykładach rezultaty, przedstawione w Deep Video Portraits pozostawiają jeszcze wiele do życzenia. Można jednak wyobrazić sobie przyszłość dubbingu, w której aktor zagra także mimiką, nanosząc swój charakter na postać oryginalnego aktora. Może więc powstać albo bardzo ciekawe narzędzie do miksowania mimiki dwóch bohaterów, albo kolejna zabawka, z której internet zrobi maszynkę do memów. Autorami opracowania „Deep Video Portraits” Heyengwoo Kim, Aysh Tewari, Wepeng Xu i Christian Theobalt z Max Planck Institute, Pablo Garrido i Patrick Pérez z francuskiej firmy Technicolor, Justus Thies i Matthias Nießner z Technical Univeristy w Monachium, Christian Theobalt z Uniwersytetu w Bath oraz Michael Zollhöfer z Uniwersytetu Stanforda. Kompletne opracowanie udostępniono w formie dokumentu PDF.

Sztuczna inteligencja NVIDII rekonstuuje fragmenty zdjęć