Tekst po naciśnięciu Enter już nie wygląda tak samo. Jak tokenizer zamienia słowa w tokeny?
Model językowy potrafi streścić długi dokument, przeanalizować kod i odpowiedzieć na złożone pytanie, a mimo to czasem potyka się na literach, numerach seryjnych czy niemal identycznych ciągach znaków. Różnica zaczyna się już na wejściu - tekst nie trafia do modelu w takiej postaci, w jakiej czyta go człowiek. Zanim zacznie się właściwe przetwarzanie, trzeba go najpierw zakodować. Tu pojawiają się tokeny. Często tłumaczy się je jako słowa albo fragmenty słów. Na początek takie uproszczenie wystarcza, ale przy bliższym spojrzeniu szybko okazuje się, że sprawa jest bardziej złożona. W tym materiale pokażę, jak tokenizacja wygląda na przykładach z języka polskiego, co naprawdę dzieje się z tekstem po wpisaniu promptu i dlaczego ten zwykle niewidoczny etap ma bardzo konkretne konsekwencje.
Autor: Paulina Piwowarczyk
Korzystając z chatbota, właściwie nie mamy powodu zastanawiać się nad tym, co dzieje się pomiędzy wpisaniem pytania a pojawieniem się odpowiedzi. Interfejs jest zbudowany tak, żeby przypominał zwykłą rozmowę, wpisujemy tekst i po chwili dostajemy wynik. Większość tego, co dzieje się pomiędzy jednym a drugim, pozostaje przed użytkownikiem ukryta. Jednym z pierwszych elementów tego procesu jest tokenizer. To od niego zależy, na jakie jednostki zostanie rozłożony tekst, ile ich powstanie i ile miejsca taki zapis zajmie w kontekście.
O tokenach mówi się często jednym zdaniem, jednak dopiero na konkretnych przykładach widać, co naprawdę robią z tekstem. Co więc dzieje się z polskim promptem po naciśnięciu Enter?
Perplexity czy Tryb AI Google? Sprawdzamy, gdzie łatwiej znaleźć konkretną odpowiedź i wiarygodne źródła w 2026 roku
Zacznijmy od prostego zdania "Ala ma kota". Dla człowieka to trzy słowa i kropka. Możemy policzyć litery, wskazać spacje i bez problemu rozpoznać granice słów. Po stronie systemu podział nie musi wyglądać podobnie. Tekst zostaje najpierw zakodowany przez tokenizer w schemacie tekst → tokenizer → tokeny → token ID. W praktyce tokenizer może od razu zwrócić ciąg identyfikatorów liczbowych. Na transformery, embeddingi i dalsze etapy przetwarzania przyjdzie czas osobno. Do porównania wybrałam cztery tokenizery takie jak cl100k_base i o200k_base z biblioteki tiktoken rozwijanej przez OpenAI, wielojęzyczny model opracowany przez Meta AI czyli XLM-RoBERTa oraz tokenizer modelu Bielik 7B. Nie porównuję jakości modeli, tylko sposób kodowania tego samego polskiego tekstu. W przypadku "Ala ma kota.". Tokenizer cl100k_base potrzebował sześciu tokenów, o200k_base pięciu, XLM-RoBERTa czterech, a Bielik sześciu. XLM-RoBERTa zachował Ala, ma i kota jako całe jednostki. W cl100k_base Ala rozpadła się na Al i a, a kota na k i ota. Tokenizer o200k_base również podzielił imię, ale kota zmieściło już w jednym tokenie. Zdanie się nie zmieniło. Zmienił się sposób jego zakodowania.
To samo "Ala ma kota." zajmuje w zależności od tokenizera od czterech do sześciu tokenów, a granice podziału wypadają w innych miejscach
Sztuczna inteligencja w grach wchodzi na nowy poziom. NVIDIA pokazuje, że małe modele mogą więcej niż wielkie LLM-y
Pierwszy test wystarczy, żeby odrzucić najprostsze wyjaśnienie jakim jest to, że token nie jest po prostu słowem ani jego komputerowym odpowiednikiem. Tokenizer ma własny słownik jednostek, z których koduje tekst. Mogą to być całe słowa, ich fragmenty, pojedyncze znaki, a także tokeny specjalne. Dokumentacja Gemini opisuje to podobnie. Najprościej wyobrazić sobie pudełko klocków różnej długości, jeden pasuje do całego kota, inny do k, kolejny do ota. Drugie pudełko ma inny zestaw, więc ten sam napis może zostać podzielony inaczej. To oczywiście uproszczenie. Tokenizery korzystają z różnych metod, m.in. BPE, WordPiece czy Unigram, a SentencePiece jest narzędziem obsługującym m.in. BPE i Unigram. "Token to fragment słowa" jest więc użytecznym skrótem, ale nie pełną definicją. Na polskiej odmianie widać to jeszcze lepiej. Wzięłam pięć form słowa samochód czyli: samochód, samochodu, samochodem, samochodami oraz samochodów. Tokenizer XLM-RoBERTa zapisał cztery z nich jako pojedyncze tokeny, ale samochodami podzielił na samo, chod i ami. W obu tokenizerach tiktoken początek wyglądał podobnie sam, och, a dalej pojawiała się odpowiednia reszta. Bielik potrzebował w tych przykładach od trzech do czterech tokenów. Taki wynik łatwo byłoby uznać za ślad rozpoznawania polskiej fleksji, ale sam podział tego nie dowodzi. Granica przed ami nie oznacza, że tokenizer przeprowadził analizę gramatyczną i rozpoznał narzędnik. Pokazuje jedynie, jak te konkretne wyrazy zostały zakodowane przez dany tokenizer.
Pięć form tego samego słowa nie daje jednego schematu podziału. XLM-RoBERTa zapisuje cztery z nich jako pojedyncze tokeny, ale "samochodami" dzieli na trzy części
Sztuczna inteligencja nadal nie dorównuje ludziom w rozumieniu tekstu. Wyniki eksperymentu od firmy Amazon
Sama długość słowa też niewiele mówi. W teście znalazły się m.in. źdźbło, gęś, żółć, chrząszcz, najprawdopodobniej i Brzęczyszczykiewicz. To ostatnie ma 19 znaków, ale tokenizer XLM-RoBERTa podzielił je na pięć tokenów, podczas gdy cl100k_base potrzebował dziewięciu, o200k_base ośmiu, a Bielik dziewięciu. Nie działa więc proste równanie "dłuższe słowo = więcej tokenów". Z tego samego powodu ostrożnie trzeba traktować grafiki, na których ktoś ręcznie rozcina wyraz na kilka kolorowych fragmentów. Bez podania konkretnego tokenizera taki podział niewiele mówi. Nie istnieje jeden "prawdziwy" sposób podziału dla przykładu słowa Brzęczyszczykiewicz na tokeny ponieważ wynik zależy od użytego tokenizera.
Sama długość słowa nie pozwala przewidzieć liczby tokenów. Dziewiętnastoznakowe "Brzęczyszczykiewicz" zajmuje w tym teście pięć tokenów w XLM-RoBERTa i dziewięć w cl100k_base
GPT-6 Astra oficjalnie. OpenAI mówi o przełomie w korzystaniu z komputera i przeglądarki
Różnicę widać nawet na zwykłym słowie kot. Sprawdziłam pięć zapisów tego słowa kot, Kot, wersja ze spacją kot, kot. i KOT. W cl100k_base samo kot zajęło dwa tokeny: k i ot, ale po dodaniu spacji na początku całe kot zmieściło się w jednym. W Bieliku było odwrotnie bo słowo kot zajęło dwa tokeny, a kot ze spacją na początku trzy. XLM-RoBERTa oba warianty zapisał jako pojedynczy token _kot. Nie da się więc stworzyć prostej zasady w rodzaju "spacja kosztuje jeden token". Znaczenie ma dokładny zapis, ale wynik zależy od konkretnego tokenizera. Jeśli chcemy wiedzieć, jak zostanie zakodowany dany tekst, najlepiej po prostu sprawdzić go w tokenizerze.
Nawet drobna zmiana zapisu może zmienić tokenizację. W cl100k_base kot zajmuje dwa tokeny, a wariant ze spacją na początku jeden; w Bieliku odpowiednio dwa i trzy
Sztuczna inteligencja ma teraz donosić na sztuczną inteligencję. Powstała infolinia dla agentów AI
Na pojedynczych słowach różnice mogą wyglądać jak ciekawostka, dlatego zrobiłam jeszcze próbę bliższą temu, co możemy wpisując w chatbotcie, dla porównania wybrałam zdanie "Wyjaśnij w trzech zdaniach, dlaczego niebo jest niebieskie.". To 59 znaków i osiem słów. Tokenizer od OpenAI cl100k_base zakodował je w 22 tokenach, o200k_base w 20, XLM-RoBERTa w 16, a tokenizer Bielika w 23. Popularny przelicznik, który możeny zobaczyć w sieci czyli "jeden token to około 0,75 słowa" nie jest więc uniwersalną regułą. Google dla modeli Gemini podaje orientacyjnie około czterech znaków na token oraz 60–80 angielskich słów na 100 tokenów jako przybliżenie, nie definicję tokenu. Nasz polski przykład dobrze pokazuje, dlaczego nie warto mechanicznie przenosić takich wartości na inne języki. Różnice między językami potwierdzają też badania. W pracy opublikowanej na NeurIPS 2023 ta sama treść po przetłumaczeniu na różne języki potrafiła mieć bardzo różną długość po tokenizacji, a w skrajnych badanych przypadkach różnica sięgała 15 razy. Nie był to wynik "polski kontra angielski", więc nie można go tak interpretować. Pokazuje natomiast, że liczba tokenów zależy nie tylko od samej treści, ale też od języka i użytego tokenizera.
59 znaków, osiem słów i cztery różne wyniki. Ten sam polski prompt zajmuje w teście od 16 do 23 tokenów
Sztuczna inteligencja wyprzedza regulacje. ONZ punktuje luki w nadzorze, bezpieczeństwie i dostępie do mocy obliczeniowej
Najciekawszy wynik dało słowo charakterystyczna, w którym są trzy litery a. Tokenizery cl100k_base i Bielik podzieliły je na pięć tokenów, o200k_base na cztery, a XLM-RoBERTa na trzy różne tj., marker _, charakterystyczn i końcowe a. W przypadku XLM-RoBERTa tylko dwa tokeny zawierają literę a, choć w całym słowie występuje ona trzy razy charakterystyczn mieści dwa jej wystąpienia naraz. To precyzyjniej opisuje problem niż popularne hasło "model nie widzi liter". Litery nie znikają, ale pojedynczy znak nie musi odpowiadać pojedynczej jednostce wejścia. Badanie opublikowane na EMNLP 2025 pokazuje, że zadania wymagające dokładnego operowania na znakach, w tym liczenia liter, rzeczywiście sprawiają tokenizowanym modelom trudność. Jednocześnie modele mogą w trakcie treningu nauczyć się części informacji potrzebnych do pracy na poziomie pojedynczych znaków. Tokenizacja pomaga więc wyjaśnić takie potknięcia, ale nie oznacza to, że odpowiada za każdy błąd przy liczeniu liter.
W słowie „charakterystyczna” są trzy litery „a”, ale w tokenizacji XLM-RoBERTa znajdują się one w dwóch tokenach. Jeden token może więc obejmować więcej niż jedno wystąpienie tej samej litery
Użytkownicy skarżą się, że ChatGPT zbyt często ich chwali. Czy sztuczna inteligencja przestała mówić prawdę?
Przy numerach różnice są tak samo wyraźne. Wzięłam dwa niemal identyczne napisy Numer zamówienia: PL-583917462018-XQ oraz wersję z końcówką 2019-XQ. Pierwsze dwa tokenizery od OpenAI czyli cl100k_base i o200k_base podzieliły środkową liczbę na grupy 583, 917, 462, 018, a XLM-RoBERTa m.in. na 58, 39, 17, 46, 2018. Bielik rozbił ją cyfra po cyfrze i cały napis zajął u niego 23 tokeny zamiast 13. Zmiana 2018 na 2019 nie wpłynęła w tym teście na ich liczbę, zmieniła się tylko zawartość odpowiedniego tokenu. Z samego wyniku nie da się natomiast wywnioskować, dlaczego twórcy danego tokenizera wybrali akurat taki sposób podziału. Jeśli muszę bezbłędnie porównać numery rachunków, kody seryjne czy inne identyfikatory, nadal wybiorę prostą funkcję porównującą napisy znak po znaku. Model językowy może zrobić to poprawnie, ale tam, gdzie potrzebuję determinizmu, nie ma powodu zastępować nim narzędzia deterministycznego.
Ten sam ciąg cyfr może zostać podzielony na grupy albo na pojedyncze cyfry. W tym teście trzy tokenizery zapisują cały napis w 13 tokenach, a Bielik potrzebuje 23
Google szykuje Frozen v2. Chip pod Gemini ma dać 6–10x więcej tokenów z wata niż obecne TPU
Na ostatnim zrzucie pojawia się jeszcze token ID. Najłatwiej potraktować go jak numer katalogowy, prościej ujmująć każda jednostka w słowniku konkretnego tokenizera ma przypisany identyfikator liczbowy. Wysoki numer nie oznacza więc większego znaczenia ani ważności tokenu. W naszym teście XLM-RoBERTa zapisał _niebieski jako token o ID 193686, a końcowe e jako osobny token. Tokenizer cl100k_base tę samą część wyrazu podzielił na nie, bies i kie, z identyfikatorami 11568, 57773 i 31422. Schemat tekst → tokenizer → tokeny → token ID należy więc traktować jako sposób uporządkowania całego procesu. Czytelne fragmenty tekstu pozwalają nam zobaczyć podział, ale w praktyce tokenizer może od razu zwrócić sekwencję identyfikatorów liczbowych.
Ten sam prompt zostaje nie tylko inaczej podzielony, ale też otrzymuje inne identyfikatory. XLM-RoBERTa zapisuje _niebieski jako jeden token o ID 193686, a cl100k_base dzieli tę część na nie, bies i kie
Jak luka w libheif, błąd konfiguracji SSO i Claude Opus 5 otworzyły drogę do wewnętrznego repozytorium OpenAI
Po tych testach trudno traktować tokenizer jak mało istotny techniczny dodatek stojący gdzieś przed modelem. Sam nie przesądza o jakości odpowiedzi, ale wpływa na to, jak długi staje się tekst po zakodowaniu, ile miejsca zajmuje w kontekście i z jakich jednostek będzie zbudowane wejście. Przy polszczyźnie widać to dość wyraźnie. Ten sam prompt miał w teście od 16 do 23 tokenów, a proste "Ala ma kota." od czterech do sześciu. Nie wyciągałabym z tego wniosku, że tokenizer potrzebujący mniejszej liczby tokenów jest automatycznie lepszy albo że model korzystający z dłuższego zapisu będzie gorzej radził sobie po polsku. To byłoby zbyt proste. Tę warstwę dobrze jednak brać pod uwagę przy porównywaniu modeli do pracy z polskimi dokumentami, długim kontekstem czy dużą ilością tekstu.
Jeśli chcemy zajrzeć pod maskę modelu językowego, tokenizacja jest dobrym punktem startu. Nie wyjaśnia wszystkich jego błędów i nie powinna służyć jako uniwersalne wytłumaczenie każdego potknięcia. Pokazuje za to, jak szybko przestaje działać intuicja wyniesiona z normalnego czytania tekstu.
Wojna o sztuczną inteligencję, czyli otwarte modele kontra korporacyjni giganci i ich zamknięte algorytmy
Sama liczba parametrów i rozmiar okna kontekstowego nie mówią wszystkiego, skoro ten sam polski tekst może zostać przez dwa systemy zapisany w wyraźnie różnej liczbie jednostek. Jeśli chcemy zajrzeć pod maskę modelu językowego, tokenizacja jest dobrym punktem startu. Nie wyjaśnia wszystkich jego błędów i nie powinna służyć jako uniwersalne wytłumaczenie każdego potknięcia. Pokazuje za to, jak szybko przestaje działać intuicja wyniesiona z normalnego czytania tekstu. My wpisujemy słowa. Dalej system pracuje już na reprezentacji zbudowanej według reguł konkretnego tokenizera. Ta różnica pozwala lepiej zrozumieć, co właściwie dzieje się po naciśnięciu Enter.
Powiązane publikacje

Klonowanie głosu w przestępczości wymierzonej w firmy. Poznajcie przypadki z USA, Europy, Azji i Polski
14
Pure Retro #29 - Tomb Raider. Lara Croft obchodzi 30 urodziny. Jak wyglądało pierwsze spotkanie z panią od grobowców?
28
Windows XP ma 25 lat. Przypominamy historię legendarnego systemu, który na zawsze zmienił komputery osobiste
92
Czy chatbot naprawdę pamięta rozmowę? Wyjaśniamy, jak działa okno kontekstowe i kiedy gubi ustalenia
9







![Tekst po naciśnięciu Enter już nie wygląda tak samo. Jak tokenizer zamienia słowa w tokeny? [1]](/image/felieton/2026/09/26_tekst_po_nacisnieciu_enter_juz_nie_wyglada_tak_samo_jak_tokenizer_zamienia_slowa_w_tokeny_8.png)
![Tekst po naciśnięciu Enter już nie wygląda tak samo. Jak tokenizer zamienia słowa w tokeny? [10]](/image/felieton/2026/09/26_tekst_po_nacisnieciu_enter_juz_nie_wyglada_tak_samo_jak_tokenizer_zamienia_slowa_w_tokeny_9.png)






