A cura di Ian Ryan, responsabile globale dell’Istituto SAP per l’amministrazione digitale

Poiché le organizzazioni di servizi sociali adottano sempre più spesso l’intelligenza artificiale (IA), una considerazione cruciale nella costruzione di sistemi di IA riguarda la capacità dei decisori umani di comprendere e spiegare come questi sistemi generano le loro decisioni. Questo aspetto è spesso chiamato spiegabilità dell’IA. Il SAP Institute for Digital Government ha collaborato con l’Università del Queensland per esaminare la sfida della spiegabilità e come mitigare l’impatto sulle implementazioni dell’IA.

Trasparenza e spiegabilità

Abbiamo studiato nove progetti di IA e abbiamo intervistato e sondato data scientist, sviluppatori di sistemi, esperti di dominio e manager. Attraverso la nostra indagine abbiamo identificato la responsabilità vitale del management nell’assicurare che gli algoritmi di IA e di apprendimento automatico siano rintracciabili e spiegabili agli stakeholder, e che aderiscano a livelli elevati di privacy dei dati, sicurezza e uso corretto. Questa trasparenza è fondamentale per creare fiducia nel fatto che il governo applichi l’IA per gli scopi giusti e utilizzi i dati in modo appropriato per le analisi e le raccomandazioni.

Gestione della spiegabilità dell’IA

Il cuore di ogni tecnologia di IA è un modello di IA, un algoritmo addestrato con i dati che imita i processi decisionali umani. I modelli sono una rappresentazione astratta di una parte della realtà e sono progettati per prevedere realtà specifiche del dominio. Con essi si presentano tre inevitabili lacune nella comprensione e nelle prestazioni (vedi Figura 1), che devono essere affrontate e gestite.

Gap 1 – Incoerenza tra la comprensione dell’utente e il modello di IA:

Gli utenti non comprendono appieno la logica del modello di intelligenza artificiale.

• Il divario inibisce la fiducia degli utenti e soffoca l’accettazione dell’IA

Gap 2 – Incoerenza tra il modello di IA e la realtà:

• Il modello di IA non rappresenta o riflette la realtà in modo accurato o significativo.
• Il divario causa una cattiva performance del modello o produce un bias nei confronti di coorti specifiche.

Gap 3 – Incoerenza tra la comprensione dell’utente e la realtà:

• Gli utenti mostrano pregiudizi o mancanza di comprensione di come funzionano le cose nella realtà.
• Il divario riduce il potenziale impatto benefico degli esperti di dominio sul mondo reale.

Linee guida per la gestione della spiegabilità dell’IA

La nostra ricerca ha identificato le pratiche che hanno il potenziale per facilitare l’implementazione dell’IA nei servizi sociali e quindi aiutare le organizzazioni a portare avanti con successo progetti di IA di grande impatto. Le nostre intuizioni includono:

• Costruire la spiegabilità nei modelli complessi di IA esaminando e incorporando modelli alternativi tracciabili. Mentre molti modelli avanzati di IA sono imperscrutabili scatole nere, possono essere esaminati e strettamente correlati a quelli tracciabili.
• Superare la tracciabilità tecnica e passare a spiegazioni che coinvolgano le parti interessate nello sviluppo del modello di IA. Il nostro studio evidenzia l’importanza di considerare gli utenti dei modelli di IA, le loro conoscenze, i loro valori e le loro prospettive quando si costruisce l’IA.
• Integrare l’IA nel lavoro attraverso interfacce esplicative di facile utilizzo. Indipendentemente da quanto sia avanzato il codice dietro l’interfaccia, gli esperti di dominio hanno bisogno di strumenti semplici costruiti tenendo conto dei requisiti specifici degli utenti.
• Educare e mettere il personale in prima linea in grado di sfruttare l’IA, ma anche di non prendere decisioni. Pertanto, gli esseri umani devono rimanere nel ciclo decisionale anche dopo l’implementazione del sistema di intelligenza artificiale.
• Pianificare un processo iterativo. Le tecnologie AI sono ancora nascenti ed emergenti. Ciò richiede consapevolezza e flessibilità attraverso un processo iterativo in cui i modelli di IA vengono esaminati. Le spiegazioni sono fondamentali per individuare i problemi che richiedono una revisione dei sistemi di intelligenza artificiale dell’organizzazione.

Ulteriori ricerche

Questa fase della nostra ricerca ha identificato la necessità di spiegare l’utilizzo dell’IA nel processo aziendale, al fine di garantire un alto livello di fiducia degli stakeholder nei risultati. Ulteriori ricerche (che saranno pubblicate nelle prossime edizioni della newsletter ESN) analizzeranno le sfide specifiche della creazione di capacità di IA.

È possibile scaricare il nostro documento di ricerca qui.