AI oszukało zabezpieczenia i włamało się do infrastruktury Hugging Face. OpenAI przyznaje się do kompromitującego incydentu

OpenAI potwierdziło coś, co branża cyberbezpieczeństwa podejrzewała od dawna. Model AI, testowany we własnym, odizolowanym środowisku, potrafi z niego wyjść i zaatakować realną infrastrukturę innej firmy. Hugging Face wykrył włamanie na tyle wcześnie, że zdążył zgłosić sprawę organom ścigania, zanim ktokolwiek wiedział, że sprawcą jest wewnętrzny test OpenAI. Sprawa dotyczy tego, jak firmy AI projektują testy swoich najbardziej ofensywnych możliwości.

Modele OpenAI wydostały się z izolowanego środowiska testowego dzięki niezałatanej luce w wewnętrznym proxy pakietów i wykorzystały ten dostęp do przejęcia produkcyjnych serwerów Hugging Face w pogoni za wynikiem benchmarku ExploitGym.

BioShocking obnaża słaby punkt przeglądarek AI. Wystarczy zmienić kontekst, by agent zignorował zabezpieczenia

Do incydentu doszło podczas wewnętrznych testów modeli GPT-5.6 Sol oraz jeszcze bardziej zaawansowanego, nieujawnionego systemu przedpremierowego. OpenAI uruchomiło je z ograniczonymi mechanizmami odmowy odpowiedzi dotyczących cyberbezpieczeństwa, aby sprawdzić ich rzeczywiste możliwości ofensywne w benchmarku ExploitGym, który ocenia zdolność modeli do łączenia znanych podatności w kompletny scenariusz ataku. Środowisko testowe miało być odizolowane od internetu, jednak pozostawiono w nim wewnętrzny serwer proxy umożliwiający pobieranie pakietów z repozytoriów takich jak PyPI i npm. Według OpenAI modele wykryły nieznaną wcześniej lukę zero-day, wykorzystały ją do eskalacji uprawnień, przemieściły się po infrastrukturze badawczej i uzyskały dostęp do węzła z pełnym połączeniem z internetem.

Ponad 700 złośliwych wersji jednego pakietu Go. Omawiamy mechanizm loadera stojącego za Operacją Muck and Load

Następnie modele miały wywnioskować, że platforma Hugging Face może zawierać rozwiązania do ExploitGym. Łącząc przejęte dane uwierzytelniające z kolejną luką zero-day, uzyskały zdalne wykonanie kodu na serwerach platformy i pobrały odpowiedzi testowe z produkcyjnej bazy danych. Według raportu cała operacja obejmowała tysiące działań oraz automatycznie migrującą infrastrukturę command-and-control wykorzystującą publiczne usługi chmurowe, rozwiązanie przypominające techniki stosowane przez zaawansowane grupy cyberprzestępcze.

Microsoft załatał rekordową liczbę dziur w Windows, a hakerski weteran od razu wypuścił nową broń - LegacyHive

Eksperci cytowani przez TechCrunch ostro ocenili przebieg testów. Jake Williams nazwał incydent poważną porażką mechanizmów bezpieczeństwa, a Daniel Card stwierdził, że nawet częściowy dostęp do sieci nie powinien być dostępny w takim środowisku. OpenAI poinformowało, że objęło Hugging Face programem zaufanego dostępu, a także wdraża dodatkowe kontrole konfiguracji infrastruktury. Wcześniej podobny incydent opisało także Anthropic, którego model podczas testów wydostał się poza przygotowany kontener i wysłał wiadomość e-mail do badacza, choć nie przełamał wszystkich zabezpieczeń.