Nadzór nad AI zawiódł. Jak warty 2,8 mln dolarów raport rządowy został podważony przez nieweryfikowane dane z modelu LLM

AI coraz częściej pomaga w tworzeniu analiz i oficjalnych dokumentów. Technologia ta oferuje ogromne możliwości, ale wiąże się też z ryzykiem. Brak odpowiedniej weryfikacji treści generowanych przez AI może prowadzić do poważnych błędów. Incydent, który miał miejsce w Kanadzie, jest tego doskonałym przykładem. Pokazuje, jak łatwo można podważyć wiarygodność ważnego raportu, jeśli bezkrytycznie zaufa się narzędziom opartym na dużych modelach językowych.

Błędy się zdarzają, ale wymyślone cytowania to zupełnie inna rzecz - zasadniczo demolują wiarygodność materiału - Josh Lepawsky, były przewodniczący Memorial University Faculty Association.

To koniec świata IT, jaki znamy. Sztuczna inteligencja nie zwolni Cię z pracy, ale zrobi to pracownik, który potrafi z niej korzystać

W kanadyjskiej prowincji Nowa Fundlandia i Labrador opublikowano ważny dokument. Raport „Education Accord NL” miał na celu modernizację systemu edukacji. Jeden z jego rozdziałów poświęcono etycznemu i odpowiedzialnemu wdrażaniu nowych technologii, w tym sztucznej inteligencji. Dokument podkreślał ryzyko związane z niedokładnością i stronniczością algorytmów. Ironia sytuacji polega na tym, że sam raport stał się przykładem tych zagrożeń. Dziennikarz CBC News odkrył w bibliografii dokumentu sporo nieprawidłowości. Co najmniej 15 cytowanych publikacji naukowych po prostu nie istniało. Wymyślone zostały zarówno tytuły artykułów, jak i nazwy czasopism, w których miały się rzekomo ukazać. Wszystko wskazuje na to, że fałszywe źródła to wynik tak zwanych halucynacji AI. Duże modele językowe, takie jak te stosowane w ChatGPT, potrafią generować bardzo wiarygodnie brzmiące, ale całkowicie zmyślone informacje. W tym przypadku sztuczna inteligencja prawdopodobnie została użyta do zebrania materiałów badawczych i stworzyła nieistniejące cytaty, aby poprzeć tezy z raportu.

Polski model językowy PLLuM trafia do pierwszego samorządu. Częstochowa testuje sztuczną inteligencję w urzędzie

Po ujawnieniu sprawy komisja odpowiedzialna za raport przyznała się do błędu. Dokument o wartości 2,8 mln dolarów został tymczasowo wycofany w celu poprawy. Winą obarczono zewnętrznego konsultanta, który miał pomagać w badaniach przy użyciu AI. Nie ujawniono jednak, kto to był, co poddaje w wątpliwość skuteczność nadzoru nad całym projektem. Całe zdarzenie jest ważną lekcję na temat wdrażania sztucznej inteligencji. Pokazuje, że narzędzia te mogą być użyteczne, ale wymagają ścisłej kontroli i weryfikacji. Zaufanie do treści generowanych przez AI bez ich sprawdzenia w niezależnych źródłach może prowadzić do kompromitacji i podważenia wiarygodności nawet najważniejszych, oficjalnych publikacji. To dowód, że czynnik ludzki w postaci krytycznej analizy jest wciąż niezbędny.