I modelli linguistici non leggono lettere e non leggono parole: leggono token, frammenti di testo trasformati in numeri. Sono l'unità di misura di tutto (i prezzi, i limiti di memoria, la velocità) e spiegano molte delle stranezze dell'AI, da «quante R ci sono in fragola» al perché l'italiano costa più dell'inglese. In questa pagina puoi tokenizzare il tuo testo, far nascere un vocabolario da zero e giocare con la temperatura di un modello.
Prima di arrivare al modello, ogni testo passa da un tokenizzatore: un dizionario di frammenti che spezza la frase in pezzi noti e assegna a ciascuno un numero. Le parole comuni restano intere, quelle rare vanno in frantumi. Scrivi qui sotto e guarda cosa succede.
Ogni colore è un token. Il puntino · indica lo spazio: nei tokenizer reali lo spazio appartiene al token che lo segue.
Questa è una simulazione semplificata con un vocabolario di poche centinaia di voci, costruita per mostrare il principio. I tokenizer veri (come tiktoken di OpenAI) usano vocabolari di 100–260mila frammenti imparati da terabyte di testo, e puoi provarli sul tokenizer ufficiale di OpenAI.
Il metodo più diffuso si chiama Byte-Pair Encoding. Nasce nel 1994 come tecnica di compressione e viene adottato per i modelli di linguaggio nel 2016. L'idea è elementare: parti dalle singole lettere e fondi, una alla volta, la coppia di simboli adiacenti più frequente nel corpus. Ripeti decine di migliaia di volte: i frammenti utili emergono da soli.
Il nostro corpus è minuscolo: quattro parole con le loro frequenze. Premi «Fondi» e osserva l'algoritmo scoprire da solo pezzi come mel e one.
Nei modelli reali il corpus non sono 4 parole ma trilioni di parole, e le fusioni non sono una decina ma centinaia di migliaia. Il principio, però, è esattamente questo: nessun linguista decide i frammenti, li decide la statistica. L'algoritmo è descritto nel paper di Sennrich, Haddow e Birch (2016).
Un modello linguistico fa una sola cosa: dato il testo fin qui, calcola una probabilità per ogni token del vocabolario di essere il prossimo. Poi ne estrae uno, lo aggiunge al testo, e ricomincia. La temperatura regola quanto l'estrazione è prudente o avventurosa.
Sposta la temperatura e osserva le probabilità ridistribuirsi; poi estrai. Con temperatura bassa vince quasi sempre il favorito, con temperatura alta emergono le sorprese.
Estrazioni: nessuna.
Con temperatura vicino a 0 il modello diventa quasi deterministico (sceglie sempre il token più probabile: utile per i calcoli e il codice); intorno a 1 rispetta le probabilità originali; sopra 1 appiattisce le differenze e rischia risposte strampalate. È lo stesso parametro che trovi nelle API di OpenAI e Anthropic.
I vocabolari BPE si imparano dal testo disponibile online, dove l'inglese domina. Risultato: la stessa frase, tradotta, produce molti più token nelle altre lingue; e, visto che i modelli si pagano (e ragionano) a token, chi non scrive in inglese paga di più e consuma prima il contesto.
Token necessari per lo stesso contenuto, posto l'inglese uguale a 1. Passa il mouse (o il dito) sulle barre.
Valori indicativi misurati sui tokenizer della famiglia GPT-3/4 dallo studio «Language Model Tokenizers Introduce Unfairness Between Languages» (Petrov et al., 2023). I tokenizer più recenti, con vocabolari da 200–260mila voci e più testo multilingue, hanno ridotto, ma non azzerato, il divario.
Molti «errori stupidi» dei modelli non dipendono dall'intelligenza ma dalla tokenizzazione: il modello ragiona su frammenti che non coincidono con lettere e cifre.
Per anni molti modelli rispondevano «due». Il motivo: il modello non vede s-t-r-a-w-b-e-r-r-y, vede uno o due token compatti, e le lettere dentro un token non sono direttamente osservabili. Come chiedere a una persona quante volte compare la lettera Q in una parola cinese: deve saperlo, non può contarlo.
«strawberry» → [straw][berry] · le R sono «invisibili»Alcuni modelli hanno risposto di sì. I numeri vengono spezzati in token in modo irregolare (per esempio «9», «,», «11»), e il confronto rischia di somigliare più a un confronto tra stringhe che tra quantità. Per questo i modelli seri, per l'aritmetica, oggi scrivono ed eseguono codice invece di fidarsi dei token.
9,11 → [9][,][11] · e «11» > «9» come testo…Nel 2023 alcuni ricercatori scoprirono che token rarissimi come « SolidGoldMagikarp» (il nome di un utente di Reddit finito nel vocabolario) mandavano GPT in confusione: presenti nel dizionario ma quasi mai visti in addestramento, erano zone cieche del modello. Da allora i vocabolari vengono ripuliti con più cura.
« SolidGoldMagikarp» → comportamenti imprevedibiliAlgoritmi. Il paper che ha portato BPE nei modelli di linguaggio: «Neural Machine Translation of Rare Words with Subword Units» (Sennrich, Haddow, Birch, 2016). La libreria open source di OpenAI per tokenizzare: tiktoken, con il tokenizer interattivo ufficiale. La spiegazione tecnica più chiara in circolazione: la lezione video di Andrej Karpathy «Let's build the GPT Tokenizer» (2024).
Lingue e costi. Le disparità tra lingue: «Language Model Tokenizers Introduce Unfairness Between Languages» (Petrov et al., 2023). I glossari ufficiali di Anthropic e le pagine prezzi dei produttori; il confronto tra i listini dei modelli 2026 è nell'infografica sulle aziende dell'AI.
Curiosità. I «glitch token» come SolidGoldMagikarp furono documentati da Jessica Rumbelow e Matthew Watkins su LessWrong (febbraio 2023).
Avvertenze. Il tokenizzatore di questa pagina è una simulazione costruita a scopo didattico: il numero di token che mostra è indicativo e non coincide con quello dei tokenizer reali, che variano da modello a modello. Le probabilità del gioco «prossimo token» sono inventate; il meccanismo di estrazione con temperatura è quello vero.
Pagina elaborata il 18 luglio 2026.