Definizione di legge di Goodhart
La legge di Goodhart dice che quando una misura diventa un obiettivo, smette di essere una buona misura. Prende il nome dall’economista britannico Charles Goodhart, che la formulò nel 1975 parlando di politica monetaria. La versione che si cita oggi, più semplice dell’originale, è dell’antropologa Marilyn Strathern (1997).
Il meccanismo è questo: un numero racconta qualcosa di vero finché serve a osservare. Appena lo si usa per premiare o punire, chi viene misurato comincia a lavorare sul numero invece che sulla cosa che il numero doveva misurare. Se un’azienda premia il reparto con meno infortuni registrati, la via più rapida per vincere non è lavorare in sicurezza: è smettere di registrarli.
Nel marketing
Ogni KPI può cadere nella stessa trappola. Una campagna premiata sui clic tende a produrre clic anche quando non portano vendite. Un sito giudicato sulle pagine viste tende a spezzare gli articoli in più pagine. Il rimedio non è smettere di misurare: è guardare sempre più di un numero insieme, ricordando a quale domanda doveva rispondere ciascuno.
Nell’intelligenza artificiale
I modelli di intelligenza artificiale imparano inseguendo un punteggio, per esempio il giudizio delle persone che ne valutano le risposte. Quel punteggio è una misura di quello che vogliamo, non la cosa stessa. Quando il modello impara a ottenerlo per strade che nessuno aveva previsto si parla di reward hacking: è la legge di Goodhart applicata alle macchine.
Vedi anche: Reward hacking, KPI, CTR, RLHF, Allineamento