Sztuczna inteligencja NVIDII rekonstuuje fragmenty zdjęć

Narzędzia służące do rekonstrukcji obrazu na bazie pozostałych (szczątkowych) elementów nie są nowością w świecie cyfrowego przetwarzania obrazu – takie rozwiązania jak Content-Aware Fill (wypełnianie z uwzględnieniem zawartości) dostępne są m.in. w Photoshopie i innych narzędziach firmy Adobe. Zaprezentowane przez NVIDIĘ technologia wykorzystująca mechanizmy sztucznej inteligencji i głębokiego uczenia dowodzi, że w zakresie odzyskiwania uszkodzonych lub usuniętych fragmentów zdjęć nie powiedziano jeszcze ostatniego słowa. Natomiast wydajne rdzenie GPU mogą posłużyć nie tylko do zabawy i konwersji filmów, wkrótce prawdopodobnie staną się nieodzownym wyposażeniem studiów graficznych.

Głębokie uczenie i algorytmy sztucznej inteligencji w służbie fotografów. Jesteśmy coraz bliżej fantastycznych metod rekonstrukcji zdjęć o z niepozornych fragmentów i rozmytych obrazów, prezentowanych do tej pory wyłącznie w filmach sensacyjnych.

Technologia przetwarzania obrazu NVIDII, opracowana przez zespół pod kierownictwem Guilina Liu umożliwi znacznie bardziej zaawansowaną rekonstrukcję obrazów niż dotychczasowe rozwiązania czy zabawy z deepfakes. Dzięki sztucznej inteligencji nie jest to zwykły mechanizm wyszukujący podobne piksele na krawędziach usuniętych fragmentów i na tej podstawie uzupełniający ubytki. Sztuczna inteligencja rozpoznaje poszczególne fragmenty obrazu i stara się dopasować brakujące elementy zgodnie z kontekstem fotografii.

Bill Gates teraz widzi sztuczną inteligencję jako przyjaciela

Kompletny dokument „Image Inpainting for Irregular Holes Using Partial Convolutions”, opisujący zastosowane mechanizmy został opublikowany na stronie cyfrowej biblioteki Cornell University. Według informacji przedstawionych przez zespół naukowców, opracowane algorytmy mogą poradzić sobie z rekonstrukcją fragmentów obrazu o nieregularnym kształcie i odległości od jego krawędzi. W dokumencie zestawiono m.in. obrazy zrekonstruowane innymi algorytmami (PatchMatch, rozwiązania zaproponowane przez zespół Satoshi’ego Iizuki - Globally and Locally Consistent Image Completion oraz zespół Jiahui Yu - Generative Image Inpainting with Contextual Attention) z algorytmami opracowanymi przez zespół NVIDII.

Robocop po chińsku: sztuczna inteligencja łapie przestępców

Rekonstrukcja obrazu, od lewej: usunięte fragmenty obrazu, obraz zrekonstruowany przez Generative Image Inpainting with Contextual Attention (zespół Jiahui Yu), obraz zrekonstruowany przez AI zespołu NVIDII, oryginalne zdjęcie

W większości przypadków nowe algorytmy zaproponowane przez zespół naukowców NVIDII zdecydowanie lepiej radzą sobie z przetwarzaniem obrazu i kontekstową rekonstrukcją usuniętych fragmentów. Do wytrenowania sieci neuronowej wykorzystano 25 000 masek (wzorów wyciętych elementów) o różnorodnym kształcie i wielkości. Próby rekonstrukcji obrazów zostały wykonane z wykorzystaniem kształtów masek, które nie były elementami wykorzystanymi w procesie treningu SI. Podczas prac, obrazy były przetwarzane na GPU Tesla V100 z wykorzystaniem PyTorch. Jeśli zaprezentowana technologia zostanie wykorzystana komercyjnie - możemy spodziewać się poważnego konkurenta dla produktów firmy Adobe.

Sztuczna inteligencja z Estonii poprawi jakość Twoich zdjęć

Wyostrzanie obrazu, od lewej: obraz w niskiej rozdzielczości, algorytm SRGAN, algorytm MDSR+, obraz wyostrzony przez SI zespołu NVIDII, oryginalne zdjęcie

Inne, przykładowe rekonstrukcje fotografii zrealizowane przez algorytmy SI zespołu Guilina Liu: