prompt injection

Firmy od miesięcy wciskają AI tam, gdzie wcześniej działały żmudne, ale przewidywalne procedury. Obsługa klienta wydawała się łatwym celem, gdyż jest tam mniej ludzi i są szybsze odpowiedzi. Problem zaczyna się wtedy, gdy chatbot przestaje być tylko gadającym FAQ i dostaje realne uprawnienia do zmian na koncie. Właśnie na tym wykoleiła się Meta. Sprawa dotyczy Instagrama, ale jej waga jest poważniejsza, bo pokazuje, jak łatwo pomylić automatyzację z bezpieczeństwem.

Rywalizacja między możliwościami modeli AI a ich bezpieczeństwem nigdy nie była tak wyraźna. F5 Labs co miesiąc publikuje ranking CASI, oceniający odporność czołowych modeli językowych na rzeczywiste ataki przy użyciu 10 000 nowych promptów. Marcowa edycja przynosi niepokojące przesunięcia i jedną nazwę, która dominuje w złym kontekście. Jednocześnie nowe techniki ataku pokazują, że era prymitywnych jailbreaków właśnie dobiega końca.

Platforma Moltbook w kilka dni przekroczyła 32 000 zarejestrowanych użytkowników. To nic nadzwyczajnego, gdyby nie fakt, że wszyscy są botami. Moltbook to sieć społecznościowa wzorowana na Reddicie, gdzie autonomiczne agenty AI publikują posty, komentują, głosują i tworzą własne społeczności, a wszystko bez udziału człowieka. Projekt wystartował zaledwie kilka dni temu jako towarzysz popularnego asystenta OpenClaw (wcześniej znanego jako Clawdbot i Moltbot).

Asystenci AI stali się zaufanymi towarzyszami codziennej pracy. Powierzamy im wrażliwe informacje, szukamy wsparcia w trudnych decyzjach i pozwalamy na dostęp do naszych kont, plików czy kalendarzy. To zaufanie może jednak zostać wykorzystane w sposób, którego się nie spodziewamy. Eksperci z Varonis Threat Labs odkryli właśnie exploit o nazwie Reprompt, który pozwala przejąć kontrolę nad Microsoft Copilot Personal jednym kliknięciem w pozornie legalny link.

Sztuczna inteligencja coraz częściej wspiera proces recenzowania naukowego, ale jej rosnące wykorzystanie otwiera drzwi dla nowych form manipulacji. Badacze z renomowanych uczelni na całym świecie zaczęli stosować niekonwencjonalne metody wpływania na oceny swoich prac, wykorzystując ukryte instrukcje dla systemów AI. Te techniki rzucają nowe światło na problemy związane z integracją sztucznej inteligencji w środowisku akademickim.

W ostatnim czasie eksperci ds. bezpieczeństwa sztucznej inteligencji przedstawili wyniki badań, które rzucają nowe światło na sposób działania dużych modeli językowych. Okazuje się, że niektóre mechanizmy odpowiedzialne za kontrolowanie generowanych treści mogą być podatne na nieoczekiwane manipulacje. To odkrycie może mieć znaczenie dla przyszłości rozwoju rozwiązań bazujących na AI i ich wykorzystania w różnych dziedzinach.