Blu7, azienda in corso di riconoscimento MIM per corsi in aula e online. Iscriviti a 7 Pillole Blu.
Il 6 ottobre 2026 Salvatore Sanfilippo (antirez, il creatore di Redis) ha pubblicato su YouTube un video di circa undici minuti: «Looped transformer: rapporto tra layer e chain of thoughts» (nota 1). Si fa una domanda semplice.
Quando un modello di intelligenza artificiale «pensa dentro», ripassando più volte nei suoi strati interni, fa la stessa cosa di quando «pensa a voce alta», cioè scrive i passaggi prima di rispondere?
Se ne parla adesso per via di Astra, il modello di OpenAI di cui circola la voce, non confermata, che usi proprio questa tecnica.
Che cos’è un layer
Un modello come quelli che usi nelle chat è un transformer: una rete fatta di strati impilati, ciascuno chiamato layer (strato). Immagina una catena di montaggio: il testo, trasformato in numeri, passa da una postazione all’altra e ognuna lo ritocca un poco. In ogni layer il modello rilegge anche il testo che sta prima per capire quali parti contano: è l’attention (meccanismo di attenzione).
Il materiale che viaggia da un layer al successivo (e si raffina strada facendo) si chiama residual stream (flusso residuo).
All’uscita l’ultimo layer deve scegliere il prossimo token, il pezzetto di parola da scrivere. I modelli che scrivono sono «decoder-only»: generano un token per volta e ogni token guarda solo quelli che lo precedono.
Non tutti i layer fanno lo stesso mestiere. Secondo Sanfilippo quelli all’ingresso leggono il contesto, quelli all’uscita decidono il token e quelli di mezzo sembrano moduli di ragionamento, uno per passo. Sono robusti: si possono togliere, scambiare o raddoppiare (a volte il modello migliora, a volte peggiora di poco). Una base scientifica c’è: in «Transformer Layers as Painters» (12 luglio 2024) Sun, Pickett, Nain e Jones mostrano che i layer centrali hanno una sorprendente uniformità e che certi problemi reggono se si saltano layer, se ne cambia l’ordine o li si esegue in parallelo (nota 2). Il raddoppio resta un’osservazione di Sanfilippo.
Che cos’è la chain of thought
La chain of thought (catena di pensiero) è l’altra metà della storia. Prima di rispondere, un modello di ragionamento scrive dei passaggi intermedi: sono token come gli altri, ma raccontano i passi di un ragionamento (per esempio i conti di un problema) invece della risposta finale. In alcune interfacce il testo è nascosto all’utente, ma esiste: Raschka lo chiama «reasoning trace» o chain of thought (nota 4).
L’idea nasce da un lavoro di Wei e altri del 28 gennaio 2022: mostrare al modello esempi con i passaggi scritti ne migliora il ragionamento. Un modello da 540 miliardi di parametri (i numeri interni che ha imparato), con otto esempi, ha raggiunto allora il livello più alto misurato su GSM8K, un insieme di problemi di matematica a parole (nota 3).
Il looped transformer: ripassare negli stessi layer
Un looped transformer (transformer «ad anello») è, nella definizione di Raschka, una piccola modifica dell’architettura: far passare le rappresentazioni intermedie più volte negli stessi blocchi del transformer. Nei paper «blocco» e «layer» si usano quasi come sinonimi. L’idea non è nuova: lui la fa risalire agli Universal Transformers del 2018 (nota 4).
L’esempio che usa è Nanbeige4.2-3B, un modello a pesi aperti (scaricabile) uscito a luglio: applica la stessa pila di 22 blocchi due volte, quindi 44 applicazioni di blocco in un solo passaggio. Perché farlo? Saunshi e altri (24 febbraio 2025, ICLR 2025) sostengono che molti problemi di ragionamento richiedono molta profondità ma non molti parametri: su problemi sintetici, come l’addizione, un modello di k layer ripetuto L volte si avvicina a uno da k per L layer (esempio mio, non del paper: 2 layer ripetuti 4 volte si avvicinano a un modello da 8). Dimostrano anche che i modelli ciclici generano implicitamente «pensieri latenti» (nascosti nei numeri interni) e possono simulare T passi di chain of thought con T giri (nota 5).
Conviene tenere separati tre costi.
-
Pesi. Sono i numeri imparati dal modello: occupano la memoria della scheda grafica (la VRAM). Col loop i 22 blocchi si conservano una volta sola: qui si risparmia. Il confronto riguarda solo i pesi dei blocchi: embedding e strati di uscita, circa il 25% dei 3 miliardi di Nanbeige, restano fuori (nota 4).
-
Calcolo. Raschka scrive che costa in modo simile ad avere 44 blocchi distinti: ripassare non è gratis.
- KV cache. È la memoria in cui il modello tiene ciò che ha già calcolato per ogni token letto: i due giri ne vogliono una ciascuno, come in un modello da 44 blocchi. Nanbeige ha provato a condividerla: la dimezzava ma il modello peggiorava (nota 4).
Sanfilippo dice che il loop funziona senza più VRAM ma con più calcolo. Aggiunge che il layer rieseguito ha la sua KV cache: quella memoria si usa. Le due frasi stanno insieme solo se «senza più VRAM» si legge come «senza più pesi in memoria». È una mia lettura per metterle d’accordo, coerente con quanto scrive Raschka: il risparmio riguarda i pesi, non la cache.
Pensare dentro o pensare a voce alta
Sono la stessa cosa? Secondo Sanfilippo sì e no. Sì perché tutte e due sono calcolo sequenziale in più: il modello «continua a pensare un po’» prima di rispondere. No perché la chain of thought deve far collassare il lavoro di tanti layer in un token scelto, il che un po’ stabilizza, fa più campionamento (sceglie fra più token possibili, con una parte di caso), mette sul piatto più idee da cui pescare e verbalizza: il ragionamento si legge, mentre nel loop resta nel residual stream.
Un sostegno formale c’è: Xu e Sato (arXiv, 25 maggio 2025) mostrano che i looped transformer simulano bene i calcoli paralleli per compiti deterministici. La chain of thought con decodifica stocastica (con una parte di caso nella scelta dei token) è invece più forte nei problemi «self-reducible», quelli che si spezzano in versioni più piccole di sé stessi (nota 6).
Sul tempo, secondo lui, i due approcci sono «abbastanza pari»: il loop costa più calcolo per token ma può bastare meno token, la chain of thought ne produce di più.
| Chain of thought | Loop | |
|---|---|---|
| Dove avviene il calcolo | In uscita: i passaggi vengono scritti come token e poi riletti dal modello | Dentro: gli stessi layer di mezzo vengono ripassati prima di ogni token |
| Forma del «pensiero» | Discreta: a ogni passo si sceglie un token: quella scelta fissa l’idea | Continua: una rappresentazione numerica che si raffina nel residual stream |
| Cosa si vede | Il testo dei passaggi, quando chi fornisce il modello lo mostra | Niente: il ragionamento interno non è testo |
| Cosa si paga | Più token da generare | Più calcolo per ogni token, più una KV cache per ogni passaggio |
| Punto di forza (Xu e Sato) | Problemi che si spezzano in versioni più piccole di sé stessi («self-reducible»), con una parte di caso nella scelta dei token | Calcoli paralleli per compiti deterministici |
E se fossero complementari?
Sanfilippo dice di aver cominciato il video per smontare l’idea che le due cose siano sostituibili e di aver trovato parecchie analogie. La sua ipotesi, non un risultato: forse sono ortogonali (cioè indipendenti) e ciascuna aggiunge qualcosa all’altra. Con più passi interni il modello potrebbe pensare subito la cosa più sensata e usare la chain of thought in modo meno esplorativo. Oggi, dice, con l’apprendimento per rinforzo (il modello è premiato quando arriva alla risposta giusta) impara come sottoprodotto a tirare fuori tutte le idee e a mettersi in dubbio da solo. Un appoggio piccolo c’è: commentando Geiping e altri (febbraio 2025), Raschka osserva che un modello con i loop può scrivere comunque una chain of thought testuale, perché il loop aggiunge solo calcolo prima di ogni token (note 4 e 7). I due meccanismi non si escludono, ma come si combinino resta da verificare.
Astra: che cosa sappiamo e che cosa no
Astra (GPT-6 Astra, nel nome usato da Raschka) è il modello di OpenAI presentato all’inizio di settembre 2026. La voce nasce da un articolo di The Information, uscito circa due giorni prima del modello. Secondo The Information, non confermato da OpenAI, Astra userebbe la «recurrent depth», cioè un looped transformer. L’articolo è a pagamento e non l’ho letto: lo riporto da Fortune (3 settembre 2026) e da Raschka (9 settembre 2026), che lo definisce una voce senza conferma ufficiale (note 4, 8 e 9).
Una dichiarazione però c’è. Jakub Pachocki, Chief Scientist di OpenAI, ha scritto (traduzione mia, riportata da Raschka, in estratto: l’originale integrale è nella nota 10): «Voglio evitare una corsa verso l’impossibilità di monitorare i modelli, innescata da una cronaca confusa. La profondità del grafo di calcolo dei nostri attuali modelli di frontiera, Astra compreso, è entro un fattore due da GPT-4. […] Penso che sia fragile e purtroppo in tendenza negativa, per ragioni non legate ai cambiamenti di architettura, di cui scriverò presto.» (Monitorare vuol dire leggere la chain of thought per controllare il modello.) I loop non sono nominati. Secondo Raschka «entro un fattore due» potrebbe voler dire anche il doppio dei blocchi normali. Lui ritiene molto probabile che Astra usi aspetti del looped transformer, ma ne attribuisce il successo soprattutto ad altro, come le ricette di addestramento migliorate (nota 4).
Fortune aggiunge un elemento che va in senso contrario al timore. Secondo il giornale OpenAI avrebbe impiegato il metodo in una parte dell’architettura. Pachocki e altri suoi ricercatori, criticando The Information, avrebbero detto di aver «limitato» l’uso dell’architettura looped perché il ragionamento resti leggibile. Pachocki avrebbe promesso più dettagli (nota 8). Nella dichiarazione citata sopra non c’è però una conferma esplicita: la voce resta non confermata da OpenAI.
Sempre secondo Fortune, a preoccuparsi sono esperti di sicurezza come Steven Adler, Peter Wildeford e Daniel Kokotajlo: se la voce fosse vera, un ragionamento che non passa per il linguaggio naturale sarebbe più difficile da controllare. Diversi esperti temono soprattutto il precedente: che altre aziende seguano e allarghino la tecnica, più che un Astra necessariamente più opaco (nota 8). È un giudizio loro, non un fatto verificato.
C’è poi una sfumatura sull’origine della voce. Sanfilippo riporta che Astra sarebbe efficiente in token perché looped. Si chiede se lo sia davvero o se dia solo quell’impressione perché la sua chain of thought è così asciutta: è un dubbio, non una tesi. Raschka osserva che Astra non usa necessariamente meno token del predecessore, GPT 5.6 Sol, nel complesso: lo fa solo a pari accuratezza. E usare meno token può voler dire semplicemente un modello più capace (nota 4). Sanfilippo, del resto, è prudente: dice di non aver cercato l’origine dell’idea e immagina una confidenza passata fra ricercatori. Finché OpenAI non dice com’è fatto Astra, quella dei loop resta un indizio.
Perché può interessarti
Due spunti pratici. Il primo riguarda costi e tempi di risposta. Se un modello pensa «dentro» invece di scrivere, i token che paghi e aspetti possono cambiare, ma il conto non sparisce: si sposta sul calcolo. Non ho cifre per dirti di quanto. Come si leggono i prezzi a token l’ho spiegato a parte.
Il secondo riguarda i modelli in casa. Sanfilippo dice che i looped transformer sono interessanti per l’inferenza locale, ma si pagano in calcolo e la VRAM è poca. Se in uno studio o in una scuola valuti un modello da tenere sui tuoi computer (il tema dei modelli in azienda l’ho trattato a parte), il numero dei parametri non basta: chiedi quanta memoria serve per la cache, che il loop non risparmia. Altri modi di far decidere le AI senza scrivere parola dopo parola li ho raccontati in Jev e CLM.
Fonti e note dell’autore
- Salvatore Sanfilippo (antirez), «Looped transformer: rapporto tra layer e chain of thoughts», YouTube, 6 ottobre 2026: tutto ciò che nel testo è attribuito a lui («dice», «secondo lui», «propone»). Le sue ipotesi restano ipotesi.
- Sun, Pickett, Nain e Jones, «Transformer Layers as Painters», arXiv 2407.09298, 12 luglio 2024: layer iniziali e finali diversi dai centrali, che hanno «a surprising amount of uniformity»; robustezza a salto, riordino ed esecuzione in parallelo dei layer per alcune classi di problemi.
- Wei e altri, «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models», arXiv 2201.11903, 28 gennaio 2022: modello da 540 miliardi di parametri, otto esempi, GSM8K.
- Sebastian Raschka, «GPT-6 Astra, Looped Transformers, and Hidden Reasoning», Ahead of AI, 9 settembre 2026: definizione di looped transformer, lessico blocco/layer, Universal Transformers (2018, arXiv 1807.03819, citato da Raschka e non riletto da me), Nanbeige4.2-3B, KV cache, token di Astra, commenti sulla dichiarazione di Pachocki.
- Saunshi, Dikkala, Li, Kumar e Reddi, «Reasoning with Latent Thoughts: On the Power of Looped Transformers», arXiv 2502.17416, 24 febbraio 2025, ICLR 2025.
- Xu e Sato, «To CoT or To Loop? A Formal Comparison Between Chain-of-Thought and Looped Transformers», arXiv 2505.19245, 25 maggio 2025 (seconda versione del 24 ottobre 2025). La pagina arXiv porta la dicitura «For the latest version, see arXiv:2509.25239» (verificata il 07/10/2026): è lo stesso lavoro di Xu e Sato rielaborato come «A Formal Comparison Between Chain of Thought and Latent Thought», 25 settembre 2025, con un abstract diverso. I claim citati nel testo (calcoli paralleli per compiti deterministici, problemi self-reducible, decodifica stocastica) sono quelli dell’abstract di 2505.19245.
- Geiping e altri, «Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach», arXiv 2502.05171, febbraio 2025. Il passaggio sulla chain of thought testuale è di Raschka (nota 4), che commenta questo lavoro.
- Jeremy Kahn (con Beatrice Nolan), Fortune, «Safety experts warn novel design of OpenAI’s Astra model could make future AI agents harder to monitor», 3 settembre 2026 (titolo letto nell’articolo il 07/10/2026; il tag title della pagina riporta un’altra formulazione): la voce riferita da The Information, l’uso «limitato» dell’architettura looped dichiarato da Pachocki e altri ricercatori OpenAI secondo Fortune, la promessa di più dettagli, le preoccupazioni di Adler, Wildeford e Kokotajlo e il timore del precedente.
- The Information, articolo sulla tecnica di Astra, all’indirizzo indicato da Raschka sotto le sue figure 4 e 14. Articolo a pagamento: non letto da noi. Nella pagina di Raschka compaiono solo il link e il passaggio citato in figura, non titolo né autori: per questo non li indico. Citato solo tramite le note 4 e 8.
- Jakub Pachocki, dichiarazione riportata da Raschka (nota 4), qui per intero (in corpo ne è riportato un estratto). Originale: «I want to prevent a race into unmonitorability kicked off by confused reporting. The depth of the computation graph for our present frontier models, including Astra, is within a factor of two of GPT-4. OpenAI has worked to preserve and utilize chain-of-thought monitoring since our very first reasoning models. We deeply care about this technique, as it can give us a view into how model alignment generalizes from its training distribution. I do think it is fragile and unfortunately trending in a negative direction, for reasons not contingent on architecture changes that I will write about soon. But there are things we can do to strengthen it, and it’s a core goal of our current research program.»
Il video
- Salvatore Sanfilippo (antirez), «Looped transformer: rapporto tra layer e chain of thoughts», YouTube, 6 ottobre 2026. Canale: @antirez.
Blu7, azienda in corso di riconoscimento MIM per corsi in aula e online. Iscriviti a 7 Pillole Blu.