Definizione di Transformer

Transformer è l’architettura di rete neurale introdotta da un gruppo di ricercatori Google nel paper “Attention Is All You Need” del 2017. È il modello che ha reso possibile l’AI generativa contemporanea: praticamente tutti gli LLM moderni (GPT, Claude, Gemini, Mistral, LLaMA) sono basati su transformer. La caratteristica fondamentale è il meccanismo di attention, che permette al modello di guardare tutte le parole di un testo contemporaneamente e capire le relazioni tra loro, indipendentemente dalla distanza. Da quel paper in poi, ogni miglioramento (modelli più grandi, finestre di contesto più larghe, qualità più alte) è stato in larga parte un’evoluzione di quella stessa idea.

Vedi anche: Attention, LLM, Rete Neurale