Von Ian Ryan, Globaler Leiter, SAP Institute for Digital Government

Da Organisationen des Sozialwesens zunehmend künstliche Intelligenz (KI) einsetzen, ist ein entscheidender Aspekt beim Aufbau von KI-Systemen die Fähigkeit der menschlichen Entscheidungsträger, zu verstehen und zu erklären, wie diese Systeme ihre Entscheidungen treffen. Dies wird oft als KI-Erklärbarkeit bezeichnet. Das SAP Institute for Digital Government arbeitete mit der University of Queensland zusammen, um die Herausforderung der Erklärbarkeit zu untersuchen und herauszufinden, wie die Auswirkungen auf KI-Implementierungen gemildert werden können.

Transparenz und Erklärbarkeit

Wir untersuchten neun KI-Projekte und befragten Datenwissenschaftler, Systementwickler, Fachleute und Manager. Im Rahmen unserer Untersuchung haben wir festgestellt, dass die Unternehmensleitung dafür verantwortlich ist, dass die Algorithmen für KI und maschinelles Lernen für die Beteiligten nachvollziehbar und erklärbar sind und dass sie ein hohes Maß an Datenschutz, Sicherheit und fairer Nutzung einhalten. Diese Transparenz ist unerlässlich, um Vertrauen zu schaffen, dass die Regierung KI für die richtigen Zwecke einsetzt und die Daten angemessen für Analysen und Empfehlungen verwendet.

Management der AI-Erklärbarkeit

Das Herzstück jeder KI-Technologie ist ein KI-Modell, ein mit Daten trainierter Algorithmus, der menschliche Entscheidungsprozesse nachahmt. Die Modelle sind eine abstrakte Darstellung eines Teils der Realität und sollen bereichsspezifische Realitäten vorhersagen. Daraus ergeben sich unweigerlich drei Lücken im Verständnis und in der Leistung (siehe Abbildung 1), die alle angegangen und bewältigt werden müssen.

Lücke 1 – Inkonsistenz zwischen dem Verständnis des Benutzers und dem KI-Modell:

Die Benutzer verstehen die Logik des KI-Modells nicht vollständig

• Die Kluft hemmt das Vertrauen der Nutzer und die Akzeptanz von KI

Lücke 2 – Inkonsistenz zwischen dem KI-Modell und der Realität:

• Das KI-Modell stellt die Realität nicht genau oder sinnvoll dar oder spiegelt sie wider.
• Die Lücke führt zu einer schlechten Modellleistung des Modells oder zu einer Verzerrung gegenüber bestimmten Kohorten.

Lücke 3 – Diskrepanz zwischen der Vorstellung des Nutzers und der Realität:

• Die Nutzer sind voreingenommen oder verstehen nicht, wie die Dinge in der Realität funktionieren.
• Die Lücke schmälert den potenziellen Nutzen der Fachleute in der Praxis

Leitlinien für das Management der Erklärbarkeit von AI

Unsere Forschung hat Praktiken identifiziert, die das Potenzial haben, die KI-Implementierung im Sozialwesen zu erleichtern und so Organisationen dabei zu helfen, wirkungsvolle KI-Projekte erfolgreich durchzuführen. Unsere Erkenntnisse umfassen:

• Erklärbarkeit in komplexe KI-Modelle einbauen, indem alternative nachvollziehbare Modelle geprüft und einbezogen werden. Viele fortgeschrittene KI-Modelle sind zwar undurchschaubare Black Boxes, aber sie können untersucht werden und eng mit nachvollziehbaren Modellen korrelieren.
• Über die technische Rückverfolgbarkeit hinaus zu Erklärungen übergehen, die die Beteiligten in die Entwicklung von KI-Modellen einbeziehen. Unsere Studie zeigt, wie wichtig es ist, bei der Entwicklung von KI-Modellen die Nutzer, ihr Wissen, ihre Werte und ihre Perspektiven zu berücksichtigen.
• Integration von KI in die Arbeit durch benutzerfreundliche, erklärende Schnittstellen. Unabhängig davon, wie fortschrittlich der Code hinter der Schnittstelle ist, brauchen Fachleute einfache Werkzeuge, die auf die spezifischen Anforderungen der Benutzer zugeschnitten sind.
• Schulung und Befähigung der Mitarbeiter, KI zu nutzen, aber auch ihre Entscheidungen zu überstimmen. Daher muss der Mensch auch nach dem Einsatz des KI-Systems in der Entscheidungsschleife bleiben.
• Planen Sie einen iterativen Prozess. Die KI-Technologien sind noch im Entstehen begriffen. Dies erfordert Bewusstsein und Flexibilität durch einen iterativen Prozess, in dem die KI-Modelle überprüft werden. Erklärungen sind entscheidend für die Erkennung von Problemen, die eine Überarbeitung der KI-Systeme des Unternehmens erforderlich machen.

Weitere Forschung

In dieser Phase unserer Forschung wurde festgestellt, dass der Einsatz von KI im Geschäftsprozess erklärungsbedürftig ist, um ein hohes Maß an Vertrauen der Stakeholder in die Ergebnisse zu gewährleisten. Weitere Untersuchungen (die in künftigen Ausgaben des ESN-Newsletters veröffentlicht werden) werden die spezifischen Herausforderungen beim Aufbau von KI-Fähigkeiten untersuchen.

Sie können unser Forschungspapier hier herunterladen.