Zgłoś błąd

X

Zanim wyślesz zgłoszenie, upewnij się że przyczyną problemów nie jest dodatek blokujący reklamy.

Typ zgłoszenia
Treść zgłoszenia
Twój email (opcjonalnie)
Nie wypełniaj tego pola
.
Załóż konto
EnglishDeutschРусскийFrançaisEspañol中国

Politechnika Warszawska - SI przerabia filmy na komiksy

Bogdan Stech | 21-12-2018 16:30 |

Politechnika Warszawska - SI przerabia filmy na komiksyCo wyjdzie z połączenia studenta, zainteresowania komiksami i filmami, uczenia maszynowego oraz talentu. To nie dowcip. To przepis na niezwykle popularną aplikację, która powstała w Politechnice Warszawskiej. Projekt stworzyli studenci Wydziału Elektroniki i Technik Informacyjnych: inż. Maciej Pęśko, Adam Svystun i inż. Paweł Andruszkiewicz pod opieką naukową pracowników Zakładu Grafiki Komputerowej Instytutu Informatyki: prof. dr. hab. inż. Przemysława Rokity i dr. inż. Tomasza Trzcińskiego. Comixify automatycznie wybiera najciekawsze i najważniejsze klatki z przesłanego filmu, a potem układa je, dopasowuje do ramek i przerabia graficznie. Tak powstają kadry komiksu.

Na stronie Comixify można zobaczyć komiksy wygenerowane z fragmentów filmów "Pulp fiction" i "Gwiezdne wojny: Część I – Mroczne widmo".

Politechnika Warszawska - SI przerabia filmy na komiksy [1]

Comixify jest rezultatem projektów dyplomowych realizowanych przez studentów od początku roku. Pomysł narodził się dzięki połączeniu zainteresowań studentów (związanych z komiksami i transferem stylu przy użyciu uczenia maszynowego) oraz dotychczasowych publikacji Zakładu, w tym m.in. tej dotyczącej przewidywania popularności treści w Internecie. Jak działa Comixify? Przekształcanie filmu w komiks jest podzielone na dwa główne etapy: ekstrakcję klatek i transfer stylu. Najpierw wyodrębniane są reprezentatywne sceny z nagrania. Żeby to zrobić, naukowcy rozwinęli algorytm oparty o metodę uczenia ze wzmocnieniem (Reinforcement Learning), a mający na celu inteligentne podsumowanie filmu. Poprzez dodanie modułu estymującego jakość zdjęcia oraz jego popularność, Comixify jest w stanie nie tylko wybrać z filmu klatki najbardziej reprezentatywne, ale również te, które prezentują najwyższy potencjał estetyczny i mają największą szansę na popularność.

Forbes: co nowego przyniesie sztuczna inteligencja w 2019 roku

Politechnika Warszawska - SI przerabia filmy na komiksy [3]

Po uzyskaniu ramek odbywa się transfer stylu do obrazów, czyli nadanie im komiksowego charakteru. W tym celu naukowcy wdrażają generatywny model sieci neuronowych typu GAN. GAN to technika uczenia maszynowego za pomocą dwóch różnych sieci: generatora i dyskryminatora. Podczas trenowania algorytm otrzymuje dane (np. obrazki), które generator wykorzystuje do tworzenia nowych instancji danych. Dyskryminator zaś ma na celu sprawdzenie, czy instancja pochodzi z zestawu danych treningowych (prawdziwych), czy wygenerowanych przez sieć generatora (fałszywych). Proces trwa do momentu, w którym generator będzie tworzył instancje tak podobne do zestawu treningowego, że dyskryminator nie będzie już w stanie stwierdzić różnicy.

Dzisiejsza sztuczna inteligencja: inteligentna czy jednak nie?

Politechnika Warszawska - SI przerabia filmy na komiksy [2]

Na stronie Comixify można zobaczyć m.in. komiksy wygenerowane z fragmentów filmów "Pulp fiction" i "Gwiezdne wojny: Część I – Mroczne widmo". Narzędzie opracowane przez zespół z Politechniki Warszawskiej każdy może też bezpłatnie przetestować, przesyłając własne pliki (do 50 MB) albo korzystając z linków z YouTube’a. W Comixify nie ma obostrzeń dotyczących długości filmu. Publikacja naukowa opisująca algorytm ukazała się w Internecie 12 grudnia 2018 roku i z miejsca wywołała falę zainteresowania od Japonii, przez Australię, Indie, Francję, po Stany Zjednoczone. W tym czasie strona Comixify zanotowała ponad 140 tysięcy wejść, wygenerowano na niej kilkanaście tysięcy komiksów, a twórcy otrzymali liczne wiadomości od zainteresowanych rozwiązaniem producentów filmowych oraz wydawców komiksów z Europy i Stanów Zjednoczonych.

Źródło: Politechnika Warszawska
90
Zgłoś błąd
Liczba komentarzy: 12

Komentarze:

x Wydawca serwisu PurePC.pl informuje, że na swoich stronach www stosuje pliki cookies (tzw. ciasteczka). Kliknij zgadzam się, aby ta informacja nie pojawiała się więcej. Kliknij polityka cookies, aby dowiedzieć się więcej, w tym jak zarządzać plikami cookies za pośrednictwem swojej przeglądarki.