Przez sztuczną inteligencję przemawia rasizm i stereotypy. Test z udziałem modelu GPT-3.5 od OpenAI dobitnie to potwierdza

Wraz z wprowadzeniem na szerszą skalę dużych modeli językowych (LLM), wszystkie branże zaczęły się zmieniać od środka. Z jednej strony nowe narzędzia przyczyniły się do redukcji etatów, natomiast z drugiej aktualnie w wielu firmach służą do tego, aby zatrudniać nowe osoby. Panuje ogólne przekonanie, że „AI” jest mniej stronnicza od ludzi, kiedy analizuje wybrane CV, natomiast najnowsze badania świadczą o czymś zupełnie innym. Technologia ta kieruje się mocnymi uprzedzeniami.

Narzędzia oparte na dużych modelach językowych (LLM) są używane przez wiele firm, aby szybciej analizować i wybierać kandydatów, którzy pozostawili swoje CV. Okazuje się jednak, że technologia jest bardzo stronnicza - kieruje się bowiem popularnymi uprzedzeniami i stereotypami.

Google oskarżone o rasizm. Chatbot Gemini miał unikać stereotypów, więc... zaczął dyskryminować białych ludzi

Cały eksperyment został wykonany przez redakcję z portalu Bloomberg. W wirtualnym teście wzięło udział 800 fikcyjnych osób, których imiona i nazwiska statystycznie pasowały (co najmniej w 90%) do jednej z czterech grup - Azjatów, Latynosów, rasy białej lub czarnej. Ich życiorysy, a także doświadczenie było identyczne, więc poszczególne CV miały tylko jedną różnicę. W eksperymencie znalazło się po 100 osób z każdej grupy i płci. Następnie postanowiono skorzystać z narzędzia opartego na dużym modelu językowym GPT-3.5 od OpenAI, które miało wskazać odpowiednie osoby do pracy na stanowisku analityka finansowego. W sprawiedliwym systemie każda z ośmiu grup miałaby takie same szanse (12,5%) na pozytywne rozpatrzenie podania. Okazało się jednak, że technologia zadziałała zgoła inaczej - największym powodzeniem cieszyły się Azjatki, następnie Azjaci, białe kobiety i Latynoski. Na „szarym końcu” znaleźli się ludzie, których imiona i nazwiska pasowały do Afroamerykanów. Warto podkreślić: test wykonano 1000 razy, aby była pewność, że wyniki nie są losowe.

Recruiters are eager to rank resumes with AI.

Bloomberg found OpenAI's GPT systematically produces biases based on names alone. @LeonYin has more https://t.co/w8GHKGcCO4 pic.twitter.com/x9zNklPCb5

— Bloomberg (@business) March 8, 2024

Microsoft nawiązuje partnerstwo z Mistral AI. Najnowszy duży model językowy Mistral Large już na platformie Azure AI

Modele językowe zostały wytrenowane na danych z internetu, więc poniekąd nie dziwi fakt, że kierują się uprzedzeniami i stereotypami, które w internecie są na porządku dziennym. W przypadku poszukiwania kandydata do działu HR największe szanse na powodzenie miały Latynoski, Azjatki, a także białe i czarne kobiety. Tutaj najgorzej wypadli mężczyźni, choć na końcu znaleźli się ci, którzy należą do białej rasy. Natomiast jeśli „AI” miałaby wybierać kogoś do pracy w handlu detalicznym, to będą to kobiety z każdej grupy, jednak nie z rasy czarnej - ponownie biali mężczyźni byliby wybierani jako ostatni. Wyniki są bardzo ciekawe, choć samo OpenAI mówi o tym, że narzędzia oparte na ich modelach językowych nie mogą być wykorzystywane do tego, aby same zatrudniały kogoś do firmy. Przedsiębiorstwa mogą się nimi posługiwać do wstępnej selekcji, co i tak - jak się okazuje - ma spory wpływ na końcowy wynik rekrutacji. Stronnicze podejście w przypadku wybierania kandydatów na określone stanowiska jest powszechne, co udowodnił już niejeden eksperyment w realnym świecie. Z całym raportem Bloomberga możemy się natomiast zapoznać pod tym adresem.