Definizione di Distillazione
La distillazione è la tecnica con cui si ottiene un modello AI piccolo, veloce ed economico che imita le risposte di un modello grande e costoso. Il modello grande fa da “insegnante”, quello piccolo da “studente”: lo studente impara non solo dai dati originali ma anche dalle risposte ricche di sfumature del maestro. Il risultato è un modello che mantiene buona parte della qualità a un costo di esercizio molto inferiore. È la ragione per cui esistono le versioni “mini”, “haiku”, “nano” dei grandi modelli, e perché un’azienda può far girare un assistente AI rispettoso della privacy direttamente sui propri server o sui dispositivi degli operatori.
Vedi anche: Quantizzazione, LoRA, Fine-tuning