Ta aplikacja realistycznie animuje zdjęcia historycznych postaci!

Coraz ciekawszych rzeczy można dokonywać przy pomocy sztucznej inteligencji i algorytmów uczenia maszynowego w kwestii manipulacji obrazu. Obecne zdobycze techniki pozwalają nam na umieszczenie Nicolasa Cage'a w dowolnym filmie (bo jak wiadomo Cage z automatu sprawia, że każdy film jest lepszy) albo na generowanie twarzy osób, które nie istnieją. Tymczasem badacze z koreańskiego koncernu technologicznego Hyperconnect opracowali narzędzie, które służy do syntezy twarzy ze zdjęć – na przykład historycznych postaci – z animacją opartą na mimice innej osoby. Dzięki temu w realistyczny sposób można ożywić np. Alberta Einsteina, albo Audrey Hepburn, czy kogo sobie zażyczymy.

MarioNETte potrafi stworzyć animowany model na bazie mimiki żywej osoby i przenieść ruchy twarzy np. na portret postaci historycznej

Narzędzie, jakie opracowali koreańscy naukowcy nazywa się MarioNETte i składa się ono z trzech zasadniczych komponentów. Pierwszy z nich to system rozpoznawania obrazu, który ustala zakres mimiki bazując na rysach twarzy. Dalej pracę wykonuje mechanizm nanoszenia obrazu na model docelowy, który eliminuje wszelkie możliwe przekłamania i zniekształcenia obrazu. Następnie całości dopełnia element transformacyjny, który łączy ze sobą żywą twarz uchwyconą w 3D i łączy ją z rysami twarzy z fotografii, tworząc realistyczny, animowany model. Rozwiązanie to nie przekształca, ani nie zamienia miejscami twarzy – po prostu nanosi mimikę modela na statyczny portret i robi to w niezwykle realistyczny sposób. Pracownicy Hyperconnect wytrenowali MarioNETte posługując się dwiema bazami danych typu open-source, VoxCeleb1 i CelebV, które zawierały łącznie kilka tysięcy portretów sławnych postaci.

Google walczy z deepfakesami... tworząc kilka tysięcy własnych

MarioNETte różni się od rozwiązania typu GAN tym, że ta druga technologia wymaga przynajmniej kilku minut na wytrenowanie algorytmów uczenia maszynowego na każdym obrazie. Ponadto GAN nie może spontanicznie przetworzyć obrazów niewidzianych i nieprzetworzonych wcześniej przez AI. Technologia opracowana przez Koreańczyków może zostać wykorzystana zarówno jako budżetowa metoda na animowanie statycznych modeli. Oprócz tego – co na pewno będzie nieuniknione – pozwoli tworzyć realistyczne deepfakesy, które uczynią z internetu jeszcze większe pole minowe niż nim jest obecnie. Badacze z Hyperconnect dowiedli już, że ich rozwiązanie w większości przypadków generuje lepsze rezultaty niż jakakolwiek inna technologia transformacji twarzy. Zespół naukowców odpowiedzialny za projekt uważa, że ich system można jeszcze bardziej usprawnić. Opracowanie naukowe na temat MarioNETte można przeczytać tutaj.