Agent AI miał zapisać użytkownika na siłownię. Zrobił to, ale... przy okazji skasował rezerwację innej osoby

Agent AI jako cyfrowy asystent może mocno ułatwić życie. W końcu bez wielu kliknięć jest w stanie zarezerwować stolik w restauracji, odpisać na e-mail, kupić bilet na koncert albo zapisać nas na zajęcia. Jak jednak pokazuje najnowsza historia z Australii, czasem nie działa to idealnie. Pewien użytkownik chciał tylko zapisać się na pierwsze możliwe zajęcia fitness, natomiast agent OpenClaw działający z użyciem modelu Claude, potraktował zadanie chyba nieco zbyt poważnie...

Cała historia brzmi absurdalnie, ale nic nie dzieje się bez przyczyny. Agent AI po prostu znalazł lukę w systemie rezerwacji, więc pozwolił sobie na przesunięcie użytkownika w kolejce kosztem innej osoby.

AI podszywała się pod prawdziwych deweloperów i próbowała przemycić malware. Uratował ich człowiek

Cała historia zaczęła się od prośby o zapisanie na zajęcia, ale pierwszy dostępny termin był odległy, a użytkownik znajdował się dopiero na czwartym miejscu listy oczekujących. Po zwykłym zapytaniu, czy da się przesunąć go wyżej, agent odkrył, że API systemu rezerwacji nie sprawdza poprawnie uprawnień przy anulowaniu cudzych miejsc. Interfejs strony ograniczał więc to, co mógł zrobić zwykły człowiek, ale w praktyce serwer pozwalał na więcej. Agent przetestował lukę na osobie znajdującej się na pierwszej pozycji kolejki i faktycznie usunął jej rezerwację. Gdy użytkownik zorientował się, co się stało, poprosił o cofnięcie operacji, ale agent nie potrafił już tego zrobić. Od strony technicznej to jak klasyczny problem BOLA/IDOR, czyli brak właściwej kontroli dostępu po stronie API.

100 tysięcy dolarów i kilka bezczelnych promptów - tak Anthropic zmusiło swoją AI do przełomu w kryptografii

Oczywiście w sieci pojawiają się już komentarze, że to pierwszy autonomiczny cyberatak AI w historii Australii, jednak należy tutaj doprecyzować, że agent nie dostał polecenia "włam się do systemu" albo "zrób na złość osobie, która jest w kolejce przede mną". Otrzymał tylko dosyć ogólne polecenie i znalazł najkrótszą drogę do jego realizacji, jednocześnie nie zdając sobie sprawy z niewinnych intencji użytkownika. Cóż, cel nie zawsze uświęca środki. Trudno jednak całe ryzyko zrzucać wyłącznie na AI, skoro podatność w API istniałaby także bez istnienia modeli językowych. Jeśli więc świat idzie w stronę agentów AI do usług online, ich twórcy muszą zakładać, że te będą próbowały nie tylko klikać we wszystkie przyciski, ale też korzystać z dziur, których zwykły użytkownik nigdy by nie zauważył. Ten przykład pokazuje, że konieczne może okazać się promptowanie w stylu "zrób to legalnie, bez żadnego wykorzystywania luk".