Definizione di Attention
L’attention è il meccanismo grazie a cui un modello AI, leggendo una frase o un documento, può “pesare” quali parti del testo sono più rilevanti per ogni passaggio del calcolo. È l’innovazione del 2017 che ha cambiato il gioco: prima i modelli leggevano in sequenza e tendevano a perdere il filo nelle frasi lunghe; con l’attention il modello guarda contemporaneamente tutte le parole e capisce, per esempio, che “lei” si riferisce alla cliente di tre frasi prima. È il cuore dell’architettura Transformer, su cui sono costruiti praticamente tutti gli LLM moderni. Per l’utente finale è il motivo per cui ChatGPT e i suoi colleghi “tengono il filo” in conversazioni lunghe meglio dei sistemi di dieci anni fa.
Vedi anche: Transformer, LLM, Finestra di contesto