tokenizer

Model językowy potrafi streścić długi dokument, przeanalizować kod i odpowiedzieć na złożone pytanie, a mimo to czasem potyka się na literach, numerach seryjnych czy niemal identycznych ciągach znaków. Różnica zaczyna się już na wejściu - tekst nie trafia do modelu w takiej postaci, w jakiej czyta go człowiek. Zanim zacznie się właściwe przetwarzanie, trzeba go najpierw zakodować. Tu pojawiają się tokeny. Często tłumaczy się je jako słowa albo fragmenty słów. Na początek takie uproszczenie...

Wpisujesz pytanie, czekasz kilka sekund i dostajesz odpowiedź. Czasem zaskakująco dobrą. Czasem tak pewną siebie, że trudno od razu zauważyć błąd. I właśnie w tym tkwi największy problem z dzisiejszą sztuczną inteligencją: z zewnątrz wygląda jak rozmowa z kimś, kto rozumie temat, ale pod spodem działa zupełnie inny mechanizm. ChatGPT, Claude czy Gemini nie są wyszukiwarkami, encyklopediami ani cyfrowymi ludźmi po drugiej stronie ekranu. To usługi zbudowane wokół modeli, które przewidują kolejne...