Google Guided Vision w Gemini Live. Asystent AI opisuje głosem obraz z aparatu i podpowiada osobom niewidomym

Asystenty AI od ponad roku patrzą przez aparat smartfona, ale ich obsługa wciąż zakłada, że użytkownik widzi ekran i wie, w co celuje obiektyw. Osobom niewidomym i słabowidzącym taki tryb pomagał więc tylko częściowo. Google dodaje do Gemini na Androidzie funkcję Guided Vision, przygotowaną z amerykańską firmą Aira i ponad tysiącem testerów. Sprawdzamy, co potrafi, na jakich telefonach działa i przed czym Google wyraźnie ostrzega.

Technologia Guided Vision przenosi obsługę aparatu z ekranu na głos. Gemini opisuje otoczenie i mówi, jak ustawić telefon, żeby złapać właściwy kadr. Funkcja działa na Androidzie 9 i nowszych, ale Google odradza używanie jej do nawigacji i wykrywania przeszkód.

OpenAI przeprasza za działania agentów, a następnego dnia pokazuje dots. Tym razem AI dostaje dostęp do Twoich aplikacji

Technologia Guided Vision działa w Gemini Live, czyli trybie rozmowy głosowej z asystentem AI. Po udostępnieniu obrazu z aparatu Gemini opisuje otoczenie, czyta drobny druk na etykietach, rozpoznaje informacje na wyświetlaczach urządzeń, pomaga znaleźć zgubioną słuchawkę albo pieprz w szafce. Może też wskazać, co znajduje się przed użytkownikiem i odpowiadać na pytania dotyczące widocznych przedmiotów. Gdy obiektyw celuje za wysoko, za blisko lub obok celu, asystent głosem prosi o zmianę kadru. Może polecić przesunięcie telefonu w prawo, pochylenie go, skierowanie obiektywu niżej albo odsunięcie się od fotografowanego obiektu. W efekcie osoba niewidoma nie musi korzystać z ekranu, żeby wiedzieć, czy aparat obejmuje właściwy fragment otoczenia.

Microsoft chce, żeby AI pracowała za Ciebie, nawet gdy śpisz. Rachunek przyjdzie później

Google rozwijało funkcję razem z Airą, firmą zajmującą się wizualną pomocą dla osób niewidomych i słabowidzących. Aira dostarczyła dane obejmujące dziesiątki tysięcy godzin wizualnych opisów, a ponad 1000 członków jej Trusted Tester Network pomagało testować i poprawiać model. Wymagania sprzętowe są niewielkie. Guided Vision jest dostępne na urządzeniach z Androidem 9 lub nowszym, w regionach i językach, w których działa Gemini Live. Polska znajduje się na liście krajów obsługiwanych przez aplikację mobilną Gemini, a język polski jest na liście obsługiwanych języków. Funkcja jest jednak wdrażana stopniowo.

GPT-6 Astra grała w Minecrafta przez 141 godzin. Jedna eksplozja zmieniła cały test. Model przez kilka godzin farmił ziemniaki

Guided Vision można uruchomić bez szukania funkcji na ekranie. W ustawieniach Gemini należy włączyć „Use Guided Vision in Live” (w wersji angielskiej systemu), a następnie rozpocząć sesję Gemini Live i udostępnić aparat smartfona lub tabletu. Google przygotowało też skrót w ustawieniach ułatwień dostępu. Osoby korzystające z TalkBack mogą otworzyć jego menu gestem trzema palcami i wybrać Guided Vision. Google nie ogranicza zastosowania funkcji wyłącznie do osób niewidomych. Firma wskazuje również na pomoc przy czytaniu drobnego tekstu, zamawianiu z menu w słabo oświetlonej restauracji czy rozpoznawaniu przedmiotów. Guided Vision może więc przydać się także osobom starszym, słabowidzącym lub mającym problem z odczytaniem informacji w trudnych warunkach.

NVIDIA opatentowała chatbota AI, który ma przyspieszyć i ułatwić twórcom gier sprawniejszą optymalizację produkcji

Granice zastosowania Google określa jednak bardzo wyraźnie. Guided Vision może się mylić i nie jest urządzeniem medycznym, pomocą w poruszaniu się ani zamiennikiem białej laski. Google odradza wykorzystywanie funkcji do nawigacji, bezpiecznego poruszania się i wykrywania przeszkód. To istotne ograniczenie, bo błędny opis otoczenia może mieć znacznie poważniejsze konsekwencje niż zwykła pomyłka w odpowiedzi AI. Guided Vision ma więc pełnić rolę dodatkowego źródła informacji, a nie zastępować sprawdzone narzędzia używane przez osoby niewidome i słabowidzące do bezpiecznego poruszania się.