It’s all about CRT TVs and pirates

(Come guardare un vecchio televisore e diventare un temibile pirata dell’AI)

Fino a qualche anno fa, la casa dei miei genitori, ospitava forse uno degli ultimi atti di ribellione al progresso che avanza costante e inesorabile: Il nostro primo televisore di famiglia.

Televisore a tubo catodico, a colori, peso e dimensioni enormi. Anche se in realtà “enorme” è ancora la percezione che ho da bambino, continuo a ricordarlo almeno qualche volta e mezza in più di quanto in realtà sia mai stato.

Ricordo ancora quando questo monolite fu acquistato sul finire degli anni ‘80, quasi quarant’anni di servizio ininterrotto, mi ha praticamente cresciuto. Mio padre, non so come, è sempre riuscito ad adattarlo in qualche modo.

Poi è arrivato il momento in cui, nonostante funzionasse ancora perfettamente, di adattarlo non c’è stato più verso. Però vederlo lì aperto, proprio mentre mio padre operava nell’ennesimo tentativo di recupero, ha saputo regalarmi un’ultima immagine come estremo saluto.

Che insegni in un corso o che risponda a domande in una conversazione, ormai se mi fanno domande sugli LLM, parto sempre da questo punto: “Immagina un vecchio televisore a tubo catodico”.

Mettiamo i puntini sul prossimo token

Immaginiamo di osservare un televisore a tubo catodico a una scala diversa da quella dell’occhio umano.

A prima vista vediamo un’immagine. Ma, avvicinandoci alla sua dimensione microscopica, l’immagine scompare e rimane un insieme di fenomeni fisici: elettroni, campi elettromagnetici, energia e interazioni.

Aggiungiamo che l’elettrone che attraversa il tubo appartiene alla realtà quantistica. Quindi non possiamo pensarlo semplicemente come una piccola particella che percorre una traiettoria perfettamente determinata e infatti la meccanica quantistica ci obbliga a descriverne lo stato attraverso una distribuzione di probabilità. Quando il processo termina e l’elettrone interagisce con lo schermo, una di queste possibilità si manifesta come un evento osservabile, contribuendo alla luce di un determinato punto.

L’immagine che vediamo è quindi l’esito macroscopico di un’enorme quantità di eventi microscopici.

È questa relazione tra possibilità e manifestazione che, secondo me può aiutare a descrivere un LLM almeno da due punti di vista.

Il primo punto è un accostamento preso in senso per lo più figurato, utile alla discussione su due concetti troppo spesso fraintesi: probabilità e proprietà emergente.

Il singolo elettrone arriva a caso e la luminosità del punto tende a mantenersi stabile con lievi fluttuazioni. È la tesi di Boltzmann verificata su un elettrodomestico: il comportamento regolare nasce da un numero enorme di eventi casuali. Ne ho già scritto in un articolo dedicato all’argomento (It’s all about the Entropy of Coffee).

Il secondo punto è più concreto e riguarda una lacuna che dovrebbe far parte della narrazione degli LLM fin dall’inizio.

In fisica ci sono le leggi che descrivono i singoli componenti, poi c’è la termodinamica, che descrive il comportamento osservabile e infine, c’è la meccanica statistica, che collega le prime alla seconda. Possiamo quindi distinguere tre livelli descrittivi.

Sullo schermo di un tubo catodico è (o forse sarebbe meglio scrivere “era”) direttamente osservabile sulla stessa superficie, sia il livello microscopico, rappresentato dai singoli arrivi degli elettroni, sia il livello macroscopico, rappresentato dall’immagine che risulta dal loro insieme. Nel mezzo, la meccanica statistica descrive il comportamento collettivo in termini probabilistici, collegando i fenomeni microscopici alle grandezze macroscopiche.

È proprio in questa prospettiva che si può leggere il caso dei modelli linguistici. Anche qui abbiamo, da un lato una descrizione del funzionamento dei singoli componenti e, dall’altro, un comportamento complessivo che emerge quando questi singoli componenti interagiscono.

Conosciamo le regole di funzionamento del modello, ma da queste regole non sappiamo ancora dedurre direttamente le proprietà che il modello manifesta a livello complessivo

In questa introduzione agli LLM voglio partire proprio da questo punto di vista, perché prima ancora di scendere nel dettaglio tecnico di cosa sia un Transformer, credo sia bene parlare di quanto questa lacuna teorica, apra a due questioni ampiamente dibattute (forse un po’ troppo e nel modo sbagliato).

La prima riguarda la spiegazione del comportamento. Dire che il modello prevede la parola successiva è una descrizione corretta del funzionamento del meccanismo, ma non costituisce, da sola, una spiegazione del comportamento complessivo che emerge dal sistema. Questa distinzione serve a contestare l’idea che la sola definizione del meccanismo sia sufficiente a spiegare il fenomeno osservato.

La seconda riguarda invece le rappresentazioni interne. Il modello costruisce al proprio interno strutture che non sono esplicitamente presenti nei dati di addestramento e sulle quali si può intervenire, ottenendo effetti, in gran parte prevedibili, sul comportamento del modello. Questo permette di contestare l’idea che il modello si limiti a combinare parole senza sviluppare alcuna rappresentazione di ciò a cui quelle parole si riferiscono.

Da una parte quindi la descrizione dei suoi meccanismi, dall’altra la descrizione del comportamento che emerge dall’interazione di quegli stessi meccanismi.

Quindi, prima di addentrarci nell’architettura di un modello linguistico, vorrei far capire perché reputo sprecato, tutto il tempo impiegato nella discussione polarizzata tra “pappagalli stocastici” e “super umani”.

“Nel momento in cui la mia attenzione si sposta dall’ordine regolare delle righe scritte e segue la mobile complessità che nessuna frase può contenere o esaurire, mi sento vicino a capire che dall’altro lato delle parole c’è qualcosa che cerca d’uscire dal silenzio, di significare attraverso il linguaggio, come battendo colpi su un muro di prigione.”

(Italo Calvino, “Mondo scritto e mondo non scritto”, 1983)

Le tre prove

Come nelle tre prove del primo Monkey Island (se non ci avete mai giocato, cominciate da questa imperdonabile lacuna), vediamo quindi a che punto siamo nella nostra avventura per diventare dei temibili pirati dell’AI.

La prima prova: I singoli componenti

Di questo livello conosciamo bene le regole di funzionamento. All’interno di un LLM ci sono strati che eseguono operazioni matematiche ben definite, principalmente moltiplicazioni tra matrici di numeri reali. Una volta fissati i parametri del modello e il testo in ingresso, queste operazioni producono sempre gli stessi risultati.

Qui però può sorgere una perplessità, soprattutto per chi ha già usato un LLM: se il calcolo è sempre lo stesso, come è possibile che il modello dia risposte diverse alla stessa domanda?

La risposta sta nel distinguere due passaggi (per semplificare userò “parola” e non “token”).

Il primo è rappresentato dai calcoli interni al modello. Dato un certo testo, il modello determina sempre la stessa distribuzione di probabilità sulla parola successiva. In altre parole, non seleziona necessariamente quale parola usare, ma assegna una probabilità a ciascuna delle possibili parole. Per esempio, potrebbe stabilire che una parola ha il 40% di probabilità di essere scelta, un’altra il 20%, un’altra ancora il 5%, e così via, fino a coprire tutte le possibilità. La somma di tutte le probabilità è 1.

Il secondo passaggio è la scelta della parola. Se questa viene fatta tramite campionamento, il sistema estrae una delle parole secondo le probabilità appena calcolate. Ripetendo l’estrazione, può quindi uscire una parola diversa, anche se la distribuzione di probabilità di partenza è esattamente la stessa. La parola scelta entra poi nel testo e il modello calcola una nuova distribuzione per la parola successiva. Ripetendo questo processo si costruisce l’intera risposta.

Quindi non c’è una contraddizione: il calcolo del modello è deterministico, mentre la generazione della risposta può introdurre casualità nel momento in cui viene scelta la parola successiva.

La seconda prova: Il comportamento d’insieme

Di questo livello conosciamo leggi empiriche molto solide, ma non sappiamo ricavarle a partire dalle componenti del modello.

Le più importanti sono le leggi di scala. Queste descrivono come cambia la loss quando aumentano il numero di parametri, la quantità di dati o il calcolo impiegato per l’addestramento. La loss è la misura di quanto il modello sbaglia (ne ho parlato nella serie di articoli sulle reti neurali).

Queste grandezze sono legate tra loro da regolarità apparentemente molto semplici. Per esempio, aumentando il numero di parametri, la loss diminuisce secondo una curva che può essere descritta matematicamente con una legge di potenza. In pratica, questo significa che possiamo prevedere abbastanza bene quanto migliorerà il modello se lo rendiamo più grande o gli forniamo più dati e più calcolo.

Queste regolarità sono state osservate su molti ordini di grandezza e vengono usate concretamente per decidere come dimensionare un modello e quanto calcolo o quanti dati dedicare al suo addestramento.

Per chi volesse approfondire, questi due articoli sono un buon punto di partenza:

• Scaling Laws for Neural Language Models(J. Kaplan et al.).
• Training Compute-Optimal Large Language Models (J. Hoffmann et al.).

È la stessa situazione della termodinamica prima di Boltzmann. La legge dei gas ideali era nota, verificata e usata per progettare macchine molti decenni prima che qualcuno spiegasse la pressione a partire dagli urti delle molecole.

Avere una legge d’insieme affidabile senza saperla ricavare dal livello sottostante è una fase normale nello sviluppo di una teoria.

La terza prova: il collegamento

Questo è il livello che manca, ed è quello su cui si concentra la ricerca sull’interpretabilità.

Una rassegna firmata da ventinove ricercatori di diciotto organizzazioni elenca le questioni aperte, afferma che il campo non ha ancora fondamenti teorici solidi e raccoglie i casi in cui un’interpretazione sembrava solida e si è poi rivelata sbagliata.

Open Problems in Mechanistic Interpretability (L. Sharkey et al.)

Va detto però che non si brancola nel buio totale, ma ne parleremo in un articolo dedicato.

Qui ci limiteremo a citare alcuni fenomeni osservati piuttosto affascinanti su cui la discussione è aperta, ma che mi piace riportare perché li trovo piuttosto simili alle transizioni di fase.

Una transizione di fase è il processo attraverso cui una sostanza passa da uno stato fisico a un altro, per esempio da solido a liquido o da liquido a gas. Questo cambiamento avviene quando variano condizioni come la temperatura o la pressione e comporta una modifica delle proprietà fisiche della sostanza.

Durante una transizione di fase, la materia non cambia la propria composizione chimica: rimane la stessa sostanza, ma cambia il modo in cui le sue particelle sono organizzate e si muovono. Per esempio, quando il ghiaccio si scioglie, l’acqua rimane sempre H₂O, ma passa da una struttura solida e ordinata a una struttura liquida, in cui le molecole possono muoversi più liberamente.

Comparsa delle induction heads. Durante l’addestramento, il modello impara progressivamente a prevedere le parole che mancano in un testo. Il suo errore di previsione, misurato dalla loss, diminuisce man mano che il modello migliora. A un certo punto, però, la curva della loss cambia improvvisamente andamento. Quest’ultimo è il segnale della comparsa delle cosiddette induction heads, particolari meccanismi di attenzione che permettono al modello di riconoscere un esempio già incontrato nel testo e di usarlo per prevedere che cosa viene dopo.

Per esempio, se nel testo il modello ha già incontrato la sequenza «A B» e più avanti incontra di nuovo «A», può imparare a usare la prima occorrenza per prevedere «B». È una forma elementare di apprendimento in-context, dove il modello utilizza cioè le informazioni presenti nel testo che sta leggendo, senza dover essere nuovamente addestrato.C. Olsson et al., 2022

Grokking. Durante l’addestramento, un modello può imparare a rispondere correttamente agli esempi che gli vengono mostrati senza aver imparato la regola generale che li accomuna: in altre parole, può imparare a memoria i dati di addestramento. Per molto tempo, quindi, il modello continua a sbagliare quando deve affrontare esempi nuovi. Poi, improvvisamente, la sua capacità di generalizzare può migliorare: il modello inizia a riconoscere la regola sottostante e a usarla anche su dati che non ha mai visto. Questo fenomeno, in cui la generalizzazione emerge molto tempo dopo che il modello ha già imparato i dati di addestramento, è chiamato grokking. A. Power et al., 2022

Abilità emergenti. Alcune capacità dei modelli linguistici sembrano mostrare un andamento particolare con l’aumentare delle dimensioni del modello. Il miglioramento appare inizialmente lento e, oltre una certa soglia, sembra diventare molto più rapido. Questo comportamento è stato descritto come abilità emergente, cioè una capacità che, secondo alcune modalità di valutazione, sembra comparire quando il modello raggiunge una certa dimensione.

Tuttavia, l’apparente comparsa improvvisa di queste capacità può dipendere anche dal modo in cui le misuriamo. Se, per esempio, valutiamo il modello contando quante risposte sono completamente corrette, un miglioramento graduale può apparire come un salto improvviso. La metrica considera infatti soltanto se una risposta è corretta o meno e può quindi rendere meno visibili i miglioramenti parziali. Con misure più continue, che tengono conto anche di questi miglioramenti, l’apparente salto può attenuarsi o scomparire.

Per questo motivo, è ancora oggetto di discussione. Le abilità emergenti riflettono un cambiamento reale e improvviso nel comportamento del modello oppure, almeno in alcuni casi, siano in parte un effetto del modo in cui le prestazioni vengono misurate? J. Wei et al., 2022 R. Schaeffer, B. Miranda, S. Koyejo, 2023)

Pirati e pappagalli stocastici

I fenomeni descritti fin qui mostrano che, durante l’addestramento, nei modelli possono comparire meccanismi e capacità che non sono facilmente riconducibili alla semplice memorizzazione dei dati.

Questi fenomeni portano però a una domanda più fondamentale. Che cosa impara effettivamente un modello mentre sviluppa queste capacità? Osservare che il comportamento cambia non ci dice ancora quali informazioni il modello abbia acquisito né come siano organizzate al suo interno. Per rispondere a questa domanda è quindi necessario guardare oltre l’output e studiare le rappresentazioni interne del modello.

Questo punto è particolarmente importante nel dibattito sul cosiddetto pappagallo stocastico. Con questa espressione, introdotta da Emily Bender, Timnit Gebru, Angelina McMillan-Major e Shmargaret Shmitchell nel 2021, si indica l’idea secondo cui un modello linguistico può produrre testo plausibile combinando regolarità statistiche apprese dai dati senza possedere necessariamente una rappresentazione del significato di ciò che sta dicendo. L’immagine del pappagallo serve proprio a distinguere la capacità di riprodurre correttamente le forme linguistiche dalla capacità di comprendere ciò a cui quelle forme si riferiscono. Bender et al., 2021

Questa distinzione era già stata affrontata l’anno precedente in un altro lavoro, dove i due autori (Emily Bender e Alexander Koller) discutono il problema di ciò che può essere appreso dalla sola forma linguistica e sostengono che la capacità di riconoscere le regolarità del linguaggio non sia, di per sé, una garanzia dell’acquisizione del suo significato. Bender e Koller, 2020

Quindi se si volesse capire quanto sia adeguata questa descrizione dei modelli, una strada possibile è data dall’ osservare che cosa viene codificato nelle loro rappresentazioni interne. I modelli linguistici trasformano infatti gli input in rappresentazioni numeriche che vengono elaborate attraverso i diversi strati della rete. Queste rappresentazioni possono contenere informazioni che non sono immediatamente visibili nel testo prodotto dal modello. La domanda diventa allora se al loro interno siano presenti soltanto informazioni relative alle regolarità linguistiche oppure anche rappresentazioni di ciò che il linguaggio descrive.

In un modello linguistico, le attivazioni sono i valori numerici intermedi calcolati dalla rete neurale durante l’elaborazione di un testo.

Rappresentano lo stato computazionale temporaneo della rete in risposta a uno specifico input e cambiano dinamicamente durante l’elaborazione.

Qui torna utile l’idea di gas introdotta negli articoli sulle reti neurali. Le attivazioni possono essere paragonate allo stato microscopico di un gas. Così come posizione e velocità delle molecole cambiano continuamente in funzione delle condizioni del sistema, le attivazioni cambiano durante l’elaborazione del prompt e descrivono lo stato interno temporaneo della rete.

Un primo esempio utile per affrontare questa domanda viene da un caso che non riguarda direttamente il linguaggio. Othello è un gioco da tavolo nel quale le mosse modificano la disposizione delle pedine sulla scacchiera. Per prevedere quale mossa effettuare, conoscere la sequenza delle mosse precedenti può quindi non essere sufficiente. È necessario anche tenere traccia dello stato della scacchiera, perché è la posizione delle pedine a determinare quali mosse sono possibili.

In realtà il caso in questione è composto da due esperimenti, condotti da diversi gruppi di ricerca.

Nel primo esperimento è stato addestrato un modello a prevedere le mosse successive di una partita di Othello fornendogli soltanto le sequenze delle mosse. Il modello non riceveva alcuna rappresentazione esplicita della scacchiera. Nonostante questo, analizzando le sue attivazioni, i ricercatori hanno trovato una rappresentazione dalla quale era possibile ricostruire lo stato della scacchiera. Li et al., 2023

Un secondo gruppo di ricercatori è poi tornato su quello stesso modello e ha mostrato che la rappresentazione possiede una struttura lineare. Nanda, Lee e Wattenberg, 2023

Il risultato è interessante perché il modello riceve soltanto una sequenza di mosse, ma sembra sviluppare al proprio interno una rappresentazione dello stato che quelle mosse descrivono. L’esperimento non dimostra che il modello “comprenda” Othello nel senso umano del termine. Mostra però che l’apprendimento da una sequenza di simboli può portare alla formazione di una rappresentazione interna di qualcosa che va oltre la sequenza stessa. Se un modello addestrato su sequenze di simboli può sviluppare una rappresentazione dello stato di una scacchiera, viene da chiedersi se possa fare qualcosa di analogo con le entità e le proprietà descritte dal linguaggio.

Un secondo studio è invece andato a cercare nelle rappresentazioni interne dei modelli linguistici le informazioni relative alla posizione geografica e temporale di diverse entità. I risultati mostrano che nelle attivazioni sono presenti informazioni sulla posizione nello spazio e nel tempo e che queste informazioni mantengono una struttura coerente anche quando cambia la formulazione linguistica utilizzata per interrogare il modello. Gurnee e Tegmark, 2024

Questi risultati sono rilevanti per la discussione sul pappagallo stocastico perché la posizione geografica o temporale è una proprietà dell’entità descritta e non della parola utilizzata per nominarla. Se una struttura corrispondente a questa proprietà emerge nelle rappresentazioni interne del modello, non è quindi immediato spiegare il fenomeno come una semplice associazione tra parole. Sembra invece esserci una struttura interna che conserva informazioni relative a ciò che quelle parole descrivono.

Rimane però un problema. Il fatto che una certa informazione possa essere individuata nelle rappresentazioni interne non significa necessariamente che il modello la utilizzi per determinare l’output corrente. Una proprietà può essere presente nelle attivazioni senza avere un ruolo causale nella generazione dell’output. Per distinguere questi due casi non basta quindi osservare le rappresentazioni. È necessario intervenire su di esse e verificare se la loro modifica produca un cambiamento nel comportamento del modello.

Ed è proprio questa la logica degli esperimenti che vanno sotto il nome di activation steering. È stato mostrato come sia possibile intervenire proprio sulle attivazioni di un modello lungo specifiche direzioni e modificare sistematicamente alcune caratteristiche dell’output. Questo tipo di risultato fornisce un’evidenza più forte rispetto alla semplice correlazione, perché permette di verificare se una determinata struttura interna contribuisca effettivamente alla produzione del comportamento. Turner et al., 2023

La distinzione è quindi tra una rappresentazione che è semplicemente associata a un comportamento e una rappresentazione che contribuisce a determinarlo. Nel primo caso possiamo dire che una certa informazione è presente nel modello. Nel secondo abbiamo invece un’evidenza che quella informazione svolga un ruolo nel modo in cui il modello produce il proprio output.

Certo, la presenza di rappresentazioni interne di per sé non è sufficiente per stabilire che un modello possieda una comprensione del significato analoga a quella umana. Gli esperimenti mostrano però qualcosa di importante per la discussione da cui siamo partiti. Se un modello può sviluppare rappresentazioni strutturate di ciò che le sequenze di simboli descrivono e queste rappresentazioni possono contribuire al suo comportamento, allora il suo funzionamento non sembra esaurirsi nella semplice ricombinazione delle forme linguistiche incontrate durante l’addestramento.

È proprio questo il punto che mette in discussione una lettura del modello come pappagallo stocastico. Non è necessario concludere che i modelli comprendano il linguaggio come gli esseri umani. È sufficiente osservare che, almeno secondo queste evidenze, tra la semplice manipolazione statistica delle parole e la comprensione umana esiste una terza via che meriterebbe di essere presa in considerazione. I modelli possono sviluppare rappresentazioni interne strutturate di entità, proprietà e relazioni descritte dal linguaggio e queste rappresentazioni possono avere un ruolo nel loro comportamento.

La questione, quindi, non riguarda soltanto ciò che il modello riesce a produrre. Dopo aver osservato la comparsa di nuovi meccanismi e nuove capacità durante l’addestramento, diventa necessario chiedersi anche quali strutture interne rendano possibili queste capacità. È su questo piano che gli studi sulle rappresentazioni interne offrono un elemento importante contro l’idea che il comportamento dei modelli possa essere spiegato interamente come una semplice manipolazione statistica della forma linguistica.

Si sarà sicuramente capito dalla serie di articoli, ma preferisco ribadirlo. Se devo passare del tempo a capire come funziona un LLM, di sicuro preferisco frequentare le numerose strade che offre la meccanica statistica.

E non è una mia idea sia chiaro, la meccanica statistica fornisce una delle chiavi di lettura teoriche più profonde per spiegare il comportamento dei Large Language model. Solo che, invece di guardare a questi modelli come a un misterioso “cervello biologico”, fisici e informatici teorici preferiscono descriverlo come un sistema fisico complesso ad altissimo numero di dimensioni, governato dalle leggi statistico-termodinamiche della transizione di fase e della minimizzazione dell’energia.

Più avanti nei prossimi articoli presenterò la letteratura sull’argomento in modo più puntuale. Nel frattempo, si è parlato di transizioni di fase, vale la pena citare almeno questo lavoro aggiornato a giugno 2026: Kai Nakaishi, Yoshihiko Nishikawa, Koji Hukushima, 2026.

Il lavoro è interessante proprio perché applica in modo esplicito gli strumenti della fisica statistica ad un LLM. Variando la temperatura, il modello attraversa una vera transizione di fase. Sotto una certa soglia produce testo con strutture ripetitive, sopra quella soglia produce testo incomprensibile, e nel punto di passaggio alcune quantità statistiche divergono, esattamente come accade nei sistemi fisici.

Il risultato più significativo riguarda però ciò che accade vicino a quel punto critico. In un testo scritto da una persona, due parole lontane tra loro restano in qualche modo legate, perché il tema e la struttura del discorso continuano a determinarne il contenuto anche a diverse righe di distanza. Questo legame si indebolisce lentamente e solo andando avanti nel testo, quando ad esempio il contesto narrativo cambia. Ed è fondamentalmente questo legame a determinare quelle caratteristiche che distinguono il linguaggio da una semplice sequenza di simboli.

Ebbene gli autori ritrovano proprio lo stesso andamento nel testo generato dal modello quando la temperatura è vicina al valore critico e ne concludono che l’analogia tra gli LLM e i fenomeni naturali non è soltanto una suggestione, ma qualcosa che può essere misurato.

Quindi, in conclusione, almeno per ora questo è l’ordine delle idee che mi diverte seguire e non credo che mi distrarrò presto da tale argomentazione. Neanche se dovesse mai trovarsi dietro di me una scimmia a tre teste.