L’interpretabilità di un sistema di Intelligenza Artificiale (IA) è la proprietà per cui le azioni e i meccanismi algoritmici del sistema possono essere studiati, compresi e analizzati dagli esseri umani. In termini pratici, l’interpretabilità richiede che il modello considerato sia trasparente. Infatti, in un sistema interpretabile l’utente deve poter esaminare chiaramente in che modo i dati di input vengono trasformati e mappati nei risultati. Si costruiscono sistemi interpretabili, dunque, con lo scopo di fornire una visione chiara dei meccanismi che governano il modello, spiegando come funziona il sistema e come giunge a una conclusione. Nonostante, idealmente, la decisione di un modello trasparente dovrebbe essere comprensibile a qualsiasi utente, spesso l’interpretazione dei meccanismi che portano alla decisione finale richiede un certo livello di competenza tecnica. I modelli statistici o grafici, come i modelli di regressione, gli alberi decisionali e l’analisi della varianza (ANOVA), sono generalmente considerati interpretabili. Tuttavia, sebbene questi modelli siano intrinsecamente trasparenti, per un utente non del settore i loro risultati potrebbero apparire come semplici numeri e grafici privi di significato. Al contrario, per un esperto, come uno statistico o un matematico, questi dati assumono significati chiari e spiegano informazioni cruciali su come il sistema mappa gli input negli output. Ad esempio, i modelli di regressione sono trasparenti poiché permettono di analizzare in modo esplicito l’importanza relativa di ciascuna caratteristica osservando quanto ciascuna variabile influisca sul calcolo; eppure, per valutarne rigorosamente l’impatto della variabile sul risultato finale, è necessario possedere specifiche competenze statistiche. Allo stesso modo, gli alberi decisionali offrono un alto grado di trasparenza dato che rappresentano esplicitamente il percorso logico che conduce dall’input all’output. Tuttavia, la corretta interpretazione dell’apporto decisionale di ciascun nodo richiede competenze tecniche specialistiche. Infine, anche l’analisi della varianza (ANOVA) espone in modo esplicito certe relazioni significative tra i dati, ma richiede comunque un certo bagaglio tecnico per comprenderne a pieno i risultati.
Al contrario, i cosiddetti sistemi opachi, o a scatola nera (black box), non sono interpretabili, nella misura in cui mappano i dati di input nei risultati restituiti in output mediante meccanismi algoritmici che potrebbero non avere alcun significato comprensibile per l’utente, neanche se provvisto di conoscenze tecniche specifiche. Ad esempio, gli algoritmi sub-simbolici, come le reti neurali profonde (Deep Learning), elaborano i dati trasformandoli automaticamente attraverso funzioni non lineari estremamente complesse. A causa di questa elevata complessità e dell’enorme mole di parametri interni, non è detto che un essere umano possa analizzare e comprendere il senso della matematica sottostante. Questa opacità li rende inadatti a settori in cui un’interpretazione significativa e comprensibile dei passaggi matematici è un requisito fondamentale. Nonostante questo, un sistema black box non direttamente interpretabile può comunque essere reso spiegabile. La spiegabilità di un sistema IA, infatti, si riferisce alla capacità del sistema di fornire una motivazione o una giustificazione chiara e comprensibile agli esseri umani in merito a una specifica decisione o azione. Affinché un sistema sia considerato “spiegabile”, deve dunque produrre un resoconto che chiarisca il perché si è giunti a un determinato risultato, assicurando che la decisione sia supportata da argomentazioni razionali e, se necessario, non in conflitto con norme etiche o legali. È chiaro quindi che la spiegabilità è un concetto fondamentale per l’adozione dell’IA in ambiti critici ad alto impatto sulla vita delle persone (come la medicina, la finanza o la sicurezza). In questi contesti, infatti, garanzie estremamente robuste sulla completa affidabilità della tecnologia sono indispensabili.
Per superare l’opacità dei sistemi black box e migliorarne la spiegabilità, è possibile usare tecniche di Explainable Artificial Intelligence (XAI) che ne analizzano il comportamento e ne traducono le decisioni in rappresentazioni comprensibili per l’essere umano. Esempi di tecniche di questo genere sono i Model Induction Methods e i Model Agnostic Methods. Queste tecniche permettono di dedurre un modello interpretabile a partire da un modello black box senza doverne conoscere la struttura interna. L’approccio consiste nell’interrogare la scatola nera: il sistema invia input leggermente modificati rispetto all’input di una specifica previsione e osserva come cambia l’output. Su idee simili si basano sistemi come LIME, che fornisce spiegazioni estremamente intuitive e comprensibili relative a una singola decisione. In sintesi, l’interpretabilità risponde alla domanda sul “come” un modello abbia preso una decisione e dipende dalla trasparenza del modello. Un sistema è interpretabile quando un utente (tipicamente un esperto) può analizzarlo direttamente e comprendere il senso dei procedimenti matematici mediante i quali i dati di input vengono mappati nei risultati restituiti in output. Comprendere questi meccanismi fa luce sul modo in cui un sistema lavora, ma non necessariamente sul perché si raggiunga una certa decisione relativamente al contesto reale in cui il sistema viene usato. La spiegabilità, invece, risponde proprio alla domanda sul “perché” il modello sia giunto a una certa decisione.
Gaia Vilma Polce