Par Ian Ryan, responsable mondial de l’Institut SAP pour le gouvernement numérique

Alors que les organisations de services sociaux adoptent de plus en plus l’intelligence artificielle (IA), une considération cruciale dans la construction de systèmes d’IA concerne la capacité des décideurs humains à comprendre et à expliquer comment ces systèmes génèrent leurs décisions. C’est ce qu’on appelle souvent l’explicabilité de l’IA. Le SAP Institute for Digital Government a collaboré avec l’Université du Queensland pour examiner le défi de l’explicabilité et la manière d’atténuer l’impact sur les mises en œuvre de l’IA.

Transparence et explicabilité

Nous avons étudié neuf projets d’IA et avons interrogé et sondé des spécialistes des données, des développeurs de systèmes, des experts du domaine et des gestionnaires. Notre enquête nous a permis d’identifier la responsabilité vitale de la direction de veiller à ce que les algorithmes d’IA et d’apprentissage automatique soient traçables et explicables aux parties prenantes, et qu’ils respectent des niveaux élevés de confidentialité des données, de sécurité et d’utilisation équitable. Cette transparence est essentielle pour instaurer la confiance dans le fait que le gouvernement applique l’IA aux bonnes fins et utilise les données de manière appropriée pour les analyses et les recommandations.

Gestion de l’explicabilité de l’IA

Au cœur de toute technologie d’IA se trouve un modèle d’IA, un algorithme entraîné avec des données qui imite les processus de décision humains. Les modèles sont une représentation abstraite d’une partie de la réalité et sont conçus pour prédire des réalités spécifiques à un domaine. Ils s’accompagnent de trois lacunes inévitables en matière de compréhension et de performance (voir figure 1), qui doivent toutes être abordées et gérées.

Écart 1 – Incohérence entre la compréhension de l’utilisateur et le modèle d’IA :

Les utilisateurs ne comprennent pas entièrement la logique du modèle d’IA.

• Ce fossé empêche la confiance des utilisateurs et freine l’acceptation de l’IA.

Écart 2 – Incompatibilité entre le modèle d’IA et la réalité :

• Le modèle d’IA ne représente pas ou ne reflète pas la réalité de manière précise ou significative.
• L’écart entraîne une mauvaise performance du modèle ou produit un biais contre des cohortes spécifiques.

Écart 3 – Incohérence entre la compréhension de l’utilisateur et la réalité :

• Les utilisateurs font preuve de préjugés ou d’un manque de compréhension de la façon dont les choses fonctionnent dans la réalité.
• Ce fossé réduit l’impact potentiel bénéfique des experts du domaine dans le monde réel.

Lignes directrices pour la gestion de l’explicabilité de l’IA

Nos recherches ont permis d’identifier des pratiques susceptibles de faciliter la mise en œuvre de l’IA dans les services sociaux et d’aider ainsi les organisations à mener à bien des projets d’IA à fort impact. Nos idées comprennent :

• Construire l’explicabilité dans les modèles complexes d’IA en examinant et en incorporant des modèles alternatifs traçables. Alors que de nombreux modèles d’IA avancés sont des boîtes noires impénétrables, ils peuvent être examinés et étroitement corrélés par rapport à des modèles traçables.
• Aller au-delà de la traçabilité technique pour donner des explications qui engagent et impliquent les parties prenantes dans le développement du modèle d’IA. Notre étude souligne l’importance de tenir compte des utilisateurs des modèles d’IA, de leurs connaissances, de leurs valeurs et de leurs perspectives lors de la création d’IA.
• Intégrer l’IA dans le travail au moyen d’interfaces explicatives conviviales. Quel que soit le degré d’avancement du code derrière l’interface, les experts du domaine ont besoin d’outils simples, conçus en fonction des besoins spécifiques des utilisateurs.
• Éduquer et donner au personnel de première ligne les moyens d’exploiter l’IA mais aussi de passer outre ses décisions. Par conséquent, les humains doivent rester dans la boucle de décision après le déploiement du système d’IA.
• Prévoyez un processus itératif. Les technologies d’IA sont encore naissantes et émergentes. Cela exige une prise de conscience et une certaine flexibilité via un processus itératif dans lequel les modèles d’IA sont examinés. Les explications sont cruciales pour détecter les problèmes qui nécessitent des révisions des systèmes d’IA de l’organisation.

Recherches complémentaires

Cette étape de notre recherche a permis d’identifier le besoin d’explicabilité lors de l’utilisation de l’IA dans le processus d’affaires afin d’assurer un haut niveau de confiance des parties prenantes dans les résultats. D’autres recherches (à publier dans les prochaines éditions de la lettre d’information de l’ESN) exploreront les défis spécifiques de la mise en place de capacités d’IA.

Vous pouvez télécharger notre document de recherche ici.