Posłuchaj emocji! Tak SI w smartfonach Huawei zastępuje wzrok

Huawei Facing Emotions stanowi rozwiązanie, które wspomoże w rozmowie osoby niewidome lub niedowidzące. Aplikacja wykorzystuje kamerę smarfona oraz sztuczna inteligencję do rozpoznawania emocji wyrażanych przez rozmówcę w postaci mimiki, co z oczywistych powodów nie może zostać poprawnie odczytane przez osoby z dysfunkcją wzroku. Do działania Huawei Facing Emotions wymagany jest SoC Kirin 980 umieszczony w smartfonie Huawei Mate 20 Pro. Oprogramowanie dostępne jest w sklepie Google Play oraz w Huawei AppGallery. Autorskie rozwiązanie firmy Huwawei rozpoznaje siedem emocji wyrażanych mimiką i przekłada je na przypisane do nich dźwięki.

Facing Emotions to projekt, dzięki któremu chcemy przesunąć granicę wykorzystania telefonów w codziennym życiu. - Dorota Haller, dyrektorka marketingu, komunikacji i digital Huawei Consumer Business Group Polska.

Zasada działania Huawei Facing Emotions jest prosta: oprogramowanie za pośrednictwem kamer obserwuje podczas dialogu twarz rozmówcy, przetwarza obraz w czasie rzeczywistym (offline, bez konieczności utrzymywania połączenia z siecią) i rozpoznaje siedem elementarnych emocji wyrażanych w mimice, takich jak strach, radość, niesmak, zdziwienie, smutek, złość i pogarda. Każdej z emocji przypisano jeden, charakterystyczny dźwięk, odtwarzany przez telefon w momencie wykrycia przez aplikację odpowiedniego wzorca.

W efekcie aplikacja odczytująca emocje umożliwi łatwiejsze nawiązanie kontaktu osobom z dysfunkcją wzroku, uzupełniając komunikację o elementy przekazywane niewerbalnie. Do jej powstania wykorzystano doświadczenie muzyków, designerów i osób niewidomych, a także pracowników Polskiego Związku Niewidomych. Oczywiście pierwszymi testerami Huawei Facing Emotions były osoby niewidome, podczas prac nad aplikacją wykorzystano ich sugestie i spostrzeżenia. Za dobór dźwięków odzwierciedlających emocje odpowiada niewidomy kompozytor, Tomasz Bilecki, twórca Niewidzialnej Wystawy.

Dźwięki, które chciałem stworzyć, musiały być specyficzne dla każdej emocji, nie mogły natomiast odwracać uwagi użytkowników od samej rozmowy – Tomasz Bilecki, kompozytor.

Podczas tworzenia zbioru dźwięków wyrażających emocje założono, by były one nieinwazyjne dla odbiorców i otoczenia, krótkie i proste. Próbki dźwięku zostały następnie przetestowane przez niewidomych konsultantów. Uzupełnienie aplikacji Huawei Facing Emotions stanowi specjalny uchwyt na smartfon, zaprojektowany przez Janusza Kochańskiego, który można zamawiać na stronie Shapeways. Umożliwi on dogodne prowadzenie konwersacji, bez konieczności trzymania telefonu podczas rozmowy. Można również skorzystać z gotowych rozwiązań dostępnych w sklepach. Firma Huawei odważyła się wyjść przed szereg i otworzyć nową drogę komunikacji osobom niedowidzącym. Gratulujemy pomysłu i jego wdrożenia.