Sztuczna Inteligencja nie radzi sobie ze sztuczną inteligencją. Narzędzia do rozpoznawania AI nie działają dobrze

Sztuczna inteligencja wprowadziła w zakłopotanie nauczycieli i akademików z całego świata - jak sprawdzać, czy uczeń lub student wykonali swoje zadania samodzielnie? Często niesumienne prace łatwo zweryfikować, szczególnie gdy AI zaczyna halucynować (czyli wprowadzać bezsensowne lub wymyślone dane), jednak wciąż pozostaje znaczny odsetek spójnych prac, których rzeczywiste pochodzenie trudno ustalić na pierwszy rzut oka.

Krytyczny przegląd narzędzi służących do rozpoznawania efektów pracy sztucznej inteligencji dowodzi, że nie są one wystarczająco dobre. Co więcej, w gruncie rzeczy łatwo je oszukać przy niewielkim dodatkowym nakładzie pracy. To duży problem dla osób weryfikujących autorstwo.

ChatGPT zdaje już nawet egzaminy na amerykańskich uczelniach. Jak wypada na tle prawdziwych studentów?

Grupa badaczy pod przywództwem Debory Weber-Wulff (HTW Berlin - University of Applied Sciences) postanowiła sprawdzić skuteczność programów służących do detekcji działań sztucznej inteligencji. W tym celu testom poddali czternaście różnych modeli deklarujących takie umiejętności. Większość z tych narzędzi działa poprzez wyszukiwanie cech charakterystycznych dla tekstów wygenerowanych przez sztuczną AI (np. specyficznych powtórzeń), a następnie obliczenie prawdopodobieństwa autorstwa związanego z tymi właściwościami.

ChatGPT stawia przed światem i nauką bezprecedensowe wyzwania. Henry Kissinger o rewolucji, która nas wkrótce czeka

Co się okazało? W przypadku tekstu bezpośrednio przeniesionego z ChatGPT są one względnie skuteczne. Natomiast wystarczy zmodyfikować pracę choćby w niewielkim zakresie, by mogły przejść jako oryginalne. Wystarczy delikatna parafraza na poziomie gramatycznym (w tym również przez narzędzia AI do parafrazy, takie jak Quillbot), by skuteczność rozpoznawania spadła z 74% do 42% (co w zasadzie wyklucza dowodowo możliwość wykazania komuś nieuczciwości). Co ciekawe, wynik dotyczący rozpoznawania dzieł człowieka wyniósł średnio 96% poprawnych trafień (uśredniając). Wygląda zatem na to, że w obecnej chwili nieuczciwi studenci mogą spać spokojnie.