Por Ian Ryan, Director Global del Instituto SAP para el Gobierno Digital

A medida que las organizaciones de servicios sociales adoptan cada vez más la inteligencia artificial (IA), una consideración crucial a la hora de crear sistemas de IA tiene que ver con la capacidad de los responsables humanos de entender y explicar cómo estos sistemas generan sus decisiones. Esto se suele denominar explicabilidad de la IA. El Instituto SAP para el Gobierno Digital colaboró con la Universidad de Queensland para examinar el reto de la explicabilidad y cómo mitigar el impacto en las implementaciones de la IA.

Transparencia y explicabilidad

Estudiamos nueve proyectos de IA y entrevistamos y encuestamos a científicos de datos, desarrolladores de sistemas, expertos en la materia y directivos. A través de nuestra investigación identificamos la responsabilidad vital de la gestión para asegurar que los algoritmos de IA y aprendizaje automático sean rastreables y explicables a las partes interesadas, y que se adhieran a altos niveles de privacidad de datos, seguridad y uso justo. Esta transparencia es vital para crear confianza en que el gobierno está aplicando la IA para los fines correctos y utilizando los datos adecuadamente para los análisis y las recomendaciones.

Gestión de la explicabilidad de la IA

En el corazón de cualquier tecnología de IA hay un modelo de IA, un algoritmo entrenado con datos que imita los procesos de toma de decisiones humanos. Los modelos son una representación abstracta de alguna porción de la realidad y están diseñados para predecir realidades específicas del dominio. Con ellas aparecen tres inevitables lagunas en la comprensión y el rendimiento (véase la figura 1), que deben ser abordadas y gestionadas.

Brecha 1 – Incongruencia entre la comprensión del usuario y el modelo de IA:

Los usuarios no comprenden totalmente la lógica del modelo de IA

• La brecha inhibe la confianza de los usuarios y ahoga la aceptación de la IA

Brecha 2 – Incongruencia entre el modelo de IA y la realidad:

• El modelo de IA no representa ni refleja la realidad de forma precisa o significativa
• La brecha provoca un mal rendimiento del modelo o produce un sesgo contra cohortes específicas

Brecha 3 – Incongruencia entre la comprensión del usuario y la realidad:

• Los usuarios muestran prejuicios o falta de comprensión de cómo funcionan las cosas en la realidad
• La brecha reduce el potencial beneficioso de los expertos en la materia en el mundo real

Directrices para gestionar la explicabilidad de la IA

Nuestra investigación identificó las prácticas que tienen potencial para facilitar la implementación de la IA en los Servicios Sociales y así ayudar a las organizaciones a llevar a cabo proyectos de IA impactantes con éxito. Nuestros conocimientos incluyen:

• Incorporar la explicabilidad en modelos complejos de IA examinando e incorporando modelos alternativos rastreables. Aunque muchos modelos avanzados de IA son cajas negras inescrutables, pueden examinarse y correlacionarse estrechamente con otros rastreables.
• Ir más allá de la trazabilidad técnica para dar explicaciones que involucren a las partes interesadas en el desarrollo del modelo de IA. Nuestro estudio pone de manifiesto la importancia de tener en cuenta a los usuarios de los modelos de IA, sus conocimientos, valores y perspectivas a la hora de construir la IA.
• Integrar la IA en el trabajo mediante interfaces explicativas de fácil manejo. Independientemente de lo avanzado que sea el código detrás de la interfaz, los expertos en la materia necesitan herramientas sencillas construidas teniendo en cuenta los requisitos específicos del usuario.
• Educar y capacitar al personal de primera línea para que aproveche la IA, pero también para que anule sus decisiones. Por lo tanto, los humanos deben permanecer en el bucle de decisión después de que el sistema de IA se despliegue.
• Planifique un proceso iterativo. Las tecnologías de IA son todavía incipientes y emergentes. Esto exige conciencia y flexibilidad a través de un proceso iterativo en el que se examinan los modelos de IA. Las explicaciones son cruciales para detectar problemas que requieran revisiones de los sistemas de IA de la organización.

Más investigaciones

Esta etapa de nuestra investigación identificó la necesidad de explicar el uso de la IA en el proceso empresarial para garantizar un alto nivel de confianza de las partes interesadas en los resultados. Otras investigaciones (que se publicarán en futuras ediciones del boletín de la ESN) explorarán los retos específicos de la creación de capacidades de IA.

Puede descargar nuestro documento de investigación aquí.