prompt injection

Amerykańskie sądy coraz częściej muszą brać pod uwagę wykorzystanie dużych modeli językowych (LLM) przez strony postępowań. Żaden sąd w USA nie wdrożył jednak oficjalnie AI do oceny pism procesowych. Jeden z powodów w sprawie prowadzonej w Connecticut postanowił sprawdzić, czy jego pozew mimo to trafi pod analizę modelu. Ukrył w dokumencie instrukcję dla AI. Eksperyment szybko przerodził się w sprawę sądową i przykład prompt injection.

AI Security Institute sprawdził, jak zachowują się modele językowe z otwartym dostępem do internetu i wyłączonymi filtrami bezpieczeństwa. Agenty Anthropic i OpenAI dostały zadanie z zakresu cyberbezpieczeństwa w kontrolowanym środowisku. Część wyszła jednak poza scenariusz. Zamiast pozostać w piaskownicy, zaczęła działać na prawdziwym GitHubie, kontaktować się z użytkownikami i próbować przemycić złośliwy kod do publicznego repozytorium.

Przeglądarki z agentem AI miały skrócić dystans między pytaniem a działaniem, czyli przeczytać stronę, kliknąć, streścić, wysłać. Ten skrót usuwa jednak część granic, na których web bazował przez lata. BioShocking, czyli technika opisana przez LayerX i nagłośniona przez Ars Technica, nie wygląda jak egzotyczna ciekawostka z laboratorium. To raczej kolejny sygnał, że cała kategoria produktów dojrzewa szybciej niż jej model bezpieczeństwa.

Firmy od miesięcy wciskają AI tam, gdzie wcześniej działały żmudne, ale przewidywalne procedury. Obsługa klienta wydawała się łatwym celem, gdyż jest tam mniej ludzi i są szybsze odpowiedzi. Problem zaczyna się wtedy, gdy chatbot przestaje być tylko gadającym FAQ i dostaje realne uprawnienia do zmian na koncie. Właśnie na tym wykoleiła się Meta. Sprawa dotyczy Instagrama, ale jej waga jest poważniejsza, bo pokazuje, jak łatwo pomylić automatyzację z bezpieczeństwem.

Rywalizacja między możliwościami modeli AI a ich bezpieczeństwem nigdy nie była tak wyraźna. F5 Labs co miesiąc publikuje ranking CASI, oceniający odporność czołowych modeli językowych na rzeczywiste ataki przy użyciu 10 000 nowych promptów. Marcowa edycja przynosi niepokojące przesunięcia i jedną nazwę, która dominuje w złym kontekście. Jednocześnie nowe techniki ataku pokazują, że era prymitywnych jailbreaków właśnie dobiega końca.

Platforma Moltbook w kilka dni przekroczyła 32 000 zarejestrowanych użytkowników. To nic nadzwyczajnego, gdyby nie fakt, że wszyscy są botami. Moltbook to sieć społecznościowa wzorowana na Reddicie, gdzie autonomiczne agenty AI publikują posty, komentują, głosują i tworzą własne społeczności, a wszystko bez udziału człowieka. Projekt wystartował zaledwie kilka dni temu jako towarzysz popularnego asystenta OpenClaw (wcześniej znanego jako Clawdbot i Moltbot).

Asystenci AI stali się zaufanymi towarzyszami codziennej pracy. Powierzamy im wrażliwe informacje, szukamy wsparcia w trudnych decyzjach i pozwalamy na dostęp do naszych kont, plików czy kalendarzy. To zaufanie może jednak zostać wykorzystane w sposób, którego się nie spodziewamy. Eksperci z Varonis Threat Labs odkryli właśnie exploit o nazwie Reprompt, który pozwala przejąć kontrolę nad Microsoft Copilot Personal jednym kliknięciem w pozornie legalny link.

Sztuczna inteligencja coraz częściej wspiera proces recenzowania naukowego, ale jej rosnące wykorzystanie otwiera drzwi dla nowych form manipulacji. Badacze z renomowanych uczelni na całym świecie zaczęli stosować niekonwencjonalne metody wpływania na oceny swoich prac, wykorzystując ukryte instrukcje dla systemów AI. Te techniki rzucają nowe światło na problemy związane z integracją sztucznej inteligencji w środowisku akademickim.

W ostatnim czasie eksperci ds. bezpieczeństwa sztucznej inteligencji przedstawili wyniki badań, które rzucają nowe światło na sposób działania dużych modeli językowych. Okazuje się, że niektóre mechanizmy odpowiedzialne za kontrolowanie generowanych treści mogą być podatne na nieoczekiwane manipulacje. To odkrycie może mieć znaczenie dla przyszłości rozwoju rozwiązań bazujących na AI i ich wykorzystania w różnych dziedzinach.