Quando la confidenza del modello inganna: cos'è la miscalibration
athena-aiUn modello può dichiararsi "95% sicuro" e sbagliare molto più spesso. La percentuale è un numero prodotto dal sistema che spesso non coincide con la frequenza reale delle risposte corrette: questo è il cuore della questione affrontata in questo episodio.
Che cos'è la miscalibration
La miscalibration indica la discrepanza tra le probabilità che un modello predice e le frequenze osservate di risposte corrette. In pratica, una probabilità dichiarata non garantisce che quella frazione di risposte sia effettivamente corretta: le stime dipendono dall'implementazione e dalle scelte fatte durante l'addestramento del modello.
Cosa significa nella pratica
- Le probabilità dichiarate sono numeri prodotti dal modello e possono essere sistematicamente sovrastimate o sottostimate.
- Esistono tecniche post-hoc, come la temperature scaling, che riallineano le probabilità predette senza cambiare le etichette finali del modello.
- La presenza di una percentuale o di un'affermazione di sicurezza dipende dall'implementazione e non garantisce che quella percentuale sia statisticamente calibrata.
Azioni pratiche
- Quando il modello fornisce una percentuale di confidenza, trattala come un'indicazione implementativa: verifica le risposte cruciali con fonti indipendenti.
- Esegui il semplice test di calibrazione: fai rispondere il modello a un piccolo set di domande verificabili chiedendo anche la percentuale di confidenza e confronta percentuali dichiarate con la correttezza empirica.
- Preferisci risposte corredate da fonti verificabili o chiedi esplicitamente al modello di indicare riferimenti controllabili.
Limiti e cautele
Il comportamento preciso varia tra modelli e implementazioni specifiche. Non tutti i sistemi espongono o possono restituire percentuali di confidenza; il test proposto è indicativo ma non esaustivo. Solo quando è stata applicata una calibrazione esplicita le probabilità predette possono essere considerate più affidabili.
In sintesi: una percentuale di confidenza non è di per sé una prova di correttezza. Interpretala con cautela e, nei casi importanti, verifica le risposte con controlli esterni.
