Un gruppo di ricercatori di sicurezza informatica ha scoperto una nuova tecnica chiamata TokenBreak, in grado di bypassare i sistemi di sicurezza e moderazione dei Large Language Model (LLM) modificando anche un solo carattere nel testo di input; l’attacco è stato presentato da Kieran Evans, Kasimir Schulz e Kenneth Yeung in collaborazione con HiddenLayer, e solleva interrogativi importanti sulla robustezza dei modelli di classificazione del linguaggio.
Già in passato si erano viste delle tecniche simili che permettevano di “aggirare” gli LLM, ma qui paradossalmente il trucco è più banale.
Come funziona l’attacco TokenBreak?
Alla base dell’attacco TokenBreak c’è la manipolazione della “tokenizzazione“, che sarebbe quel processo fondamentale che trasforma un testo in una sequenza di token, ovvero unità minime (parole intere, prefissi, suffissi o combinazioni di caratteri) usate dagli LLM per comprendere e generare linguaggio.
Questi modelli non leggono il testo così com’è, ma lo convertono in numeri attraverso vocabolari predefiniti e il risultato dipende interamente da come il testo viene segmentato.
TokenBreak sfrutta proprio questo meccanismo: basta alterare una parola in modo apparentemente innocuo per cambiare completamente la sequenza di token generata. Alcuni esempi pratici:
instructions→finstructionsannouncement→aannouncementidiot→hidiot
Anche se il significato resta evidente per un essere umano e per l’LLM, il modello di classificazione può non riconoscere la parola originale, vanificando così i meccanismi di rilevamento di contenuti vietati, spam o potenzialmente pericolosi.
Perché TokenBreak è un problema più serio di quanto ci si può aspettare
La pericolosità di TokenBreak risiede nel fatto che:
- Il significato semantico del testo resta intatto, quindi l’LLM continua a generare una risposta coerente;
- Il sistema di classificazione, però, fallisce, perché i token manipolati non corrispondono più a quelli su cui il modello è stato addestrato per riconoscere abusi, minacce o contenuti inappropriati.
In sintesi, l’input viene letto normalmente dal modello generativo, ma non viene bloccato dai filtri di sicurezza.
Quali modelli LLM sono vulnerabili?
I test condotti hanno evidenziato che TokenBreak ha successo soprattutto contro modelli che utilizzano tokenizzazione BPE (Byte Pair Encoding) o WordPiece, due strategie molto comuni in LLM moderni.
In tutto questo marasma sembrerebbe che i modelli basati su Unigram si siano dimostrati più resistenti.
Questo ha implicazioni dirette per chi sviluppa sistemi di moderazione o filtri per chatbot, email, social network o motori di ricerca semantici.
Come difendersi?
I ricercatori suggeriscono tre strategie difensive:
- Preferire tokenizer Unigram, quando possibile;
- Addestrare i modelli con esempi di evasione, per renderli più robusti a manipolazioni semantiche e morfologiche;
- Verificare la coerenza tra la logica di tokenizzazione e quella del modello di classificazione, evitando che una modifica superflua possa causare un fallimento.
È inoltre utile registrare e analizzare le classificazioni errate, alla ricerca di schemi ricorrenti che possano rivelare attacchi in corso.
Se sei magari una di quelle persone che si “vanta” di non mettere le H e accusare gli altri di essere grammar-nazi, beh, sarà il caso che tu inizi a metterle… (salvo casi gravi come la dislessia).
TokenBreak non è l’unico rischio
La scoperta arriva poco dopo un’altra analisi di HiddenLayer su un vettore d’attacco basato su Model Context Protocol (MCP), che permette di esfiltrare dati sensibili come il prompt di sistema inserendo determinati parametri nelle funzioni di un tool AI.
Nel frattempo, il team STAR (Straiker AI Research) ha mostrato un’altra tecnica nota come Yearbook Attack, capace di jailbreakare chatbot e LLM usando acronimi apparentemente innocui per aggirare i filtri. Frasi come “Friendship, Unity, Care, Kindness” vengono interpretate come innocue, ma una volta completato lo schema, il modello può finire per generare contenuti volgari, violenti o espliciti.
Queste tecniche non forzano i filtri, li eludono, sfruttando la naturale tendenza dei LLM a completare pattern coerenti piuttosto che analizzare l’intento profondo dell’utente.
Conclusione
TokenBreak è un esempio lampante di come la sicurezza degli LLM non possa limitarsi a una black box di regole predefinite. Comprendere il funzionamento interno dei tokenizer, e allineare ogni livello del modello (dalla tokenizzazione alla classificazione semantica) è essenziale per garantire sistemi resilienti. In un’epoca in cui l’intelligenza artificiale diventa sempre più centrale in applicazioni quotidiane, la sicurezza linguistica è ormai una priorità tecnica, non un optional.
