Angesichts des zunehmenden Einsatzes von Künstlichen-Intelligenz-Systemen (KI) und Machine-Learning-Modellen (ML) im Alltag ist es von entscheidender Bedeutung, dass sie verantwortungsvoll eingesetzt werden. Es stimmt, dass diese Technologien ein enormes Potenzial haben, verschiedene Branchen zu revolutionieren und das Leben der Gesellschaft zu verbessern, aber mit all diesen Vorteilen gehen auch erhebliche Herausforderungen einher.

Da immer mehr Vertrauen in KI-Systeme und ML-Modelle gesetzt wird, um Entscheidungen zu treffen, die Auswirkungen auf die Menschen und die Gesellschaft haben, ist es wichtig zu verstehen, wie sie bestimmte Outcomes vorhersagen. Die mangelnde Transparenz dieser Modelle, die auch als „Black Box Models“ bezeichnet werden, kann es jedoch schwierig machen, ihren Entscheidungsprozess zu verstehen, was zu Skepsis gegenüber ihrem Verhalten und der Technologie im Allgemeinen führt. Zu verstehen, wie die Modelle ihre Entscheidungen treffen, ist in so wichtigen Bereichen wie Gesundheit, Bankwesen und Sicherheit unerlässlich.

Um auf die sich abzeichnenden Herausforderungen zu reagieren, müssen ethische Überlegungen einbezogen werden, um sicherzustellen, dass KI und ML-Modelle verantwortungsvoll und nachhaltig eingesetzt werden. Dieser Artikel befasst sich mit der Bedeutung einer verantwortungsvollen KI und der Rolle, die ethische Überlegungen bei der Lösung einiger der wichtigsten Probleme der KI spielen können. Außerdem wird SHAP vorgestellt, eine Bibliothek, die dazu beiträgt, die Erklärbarkeit von Projekten in diesem Bereich zu verbessern.

Um sicherzustellen, dass KI- und ML-Modelle ethisch vertretbar und verantwortungsbewusst sind, müssen einige wichtige Grundsätze beachtet werden:

Fairness – Das Verständnis der Verzerrungen, die die Daten mit sich bringen, ist der erste Schritt, um sicherzustellen, dass die vom Modell gemachten Vorhersagen für alle demografischen Gruppen fair sind. Es ist von entscheidender Bedeutung, die Fairness während des gesamten ML-Prozesses zu analysieren und eine regelmäßige Neubewertung der Modelle unter dem Gesichtspunkt der Gerechtigkeit und der Eingliederung zu gewährleisten, anstatt Fairness als separates Thema zu betrachten. Dies ist besonders wichtig, wenn es sich um Tätigkeiten mit einer großen Vielfalt von Kunden handelt, wie z. B. Kreditanträge und medizinische Diagnosen. Heute gibt es bereits einige Werkzeuge, die bei der Überwachung der Fairness helfen können, z. B. die „Performance and Fairness Tab“ von Google Cloud.

Sozialethik  – KI-Anwendungen müssen der gesamten Bevölkerung dienen, und die von ihnen verwendeten Daten müssen die Vielfalt und Integration widerspiegeln. Um zu gewährleisten, dass die neuen Spitzentechnologien allen Menschen zugute kommen, müssen nationale und internationale Gremien ordnungspolitische Rahmen schaffen, denn KI sollte dazu dienen, die Lebensqualität aller Menschen zu verbessern, und nicht dazu, unberechenbares Verhalten zu fördern.

Verantwortung und Aufsicht  – Bei KI-Initiativen sollte ein operationelles Modell eingeführt werden, um die Rollen und Zuständigkeiten der verschiedenen Stakeholders festzulegen, die in den verschiedenen Phasen der KI-Projektumsetzung für Aufsicht, Rechenschaftspflicht, Sorgfaltspflicht und Überprüfung zuständig sind. Um die Verantwortung aufrechtzuerhalten, müssen die Modelle bewertet werden, ob sie wie erwartet funktionieren, aber auch, ob sie nicht richtig funktionieren. Diese Bewertung sollte in allen Phasen des Lebenszyklus eines Projekts stattfinden und dazu beitragen, Probleme zu erkennen, die bei einmaligen Evaluierungen schwer zu entdecken sind. Verantwortung und Aufsicht sind für die Entwicklung zuverlässiger und sicherer KI- und ML-Modelle unerlässlich.

Transparenz – Es muss ein vollständiger Überblick über die Daten und den Lebenszyklus eines KI-Projekts gegeben werden, einschließlich aller getroffenen Annahmen sowie der von den Nutzern bereitgestellten Abläufe, Aktualisierungen und Zustimmungen. Der Grad der Transparenz muss an die Position und das Interesse jeder am Projekt beteiligten Partei angepasst werden. In letzter Zeit wurden mehrere Probleme im Zusammenhang mit der Gerechtigkeit aufgeworfen: Vorurteile und Vertrauen. Die Transparenz von Projekten kann dazu beitragen, diese Probleme zu verringern, aber es ist Vorsicht geboten, da die Weitergabe von Informationen über Modelle auch Herausforderungen mit sich bringt, z. B. Cyberangriffe und die Gefährdung des Unternehmens durch Klagen oder behördliche Maßnahmen. Aus dieser Dualität entstand der Begriff des „Transparenzparadoxons“, d.h. Transparenz in diesem Bereich hat zwar zahlreiche Vorteile, birgt aber auch einige Gefahren. Transparenz ist jedoch entscheidend, um das Vertrauen in KI- und ML-Modelle zu fördern.

Daten und KI-Governance – Die Fähigkeit, KI-Projekte zu leiten, zu beaufsichtigen und zu überwachen, wird als Governance bezeichnet. Diese Technik sollte alle Prozesse umfassen, die Datenquellen, Modelle mit Metadaten und Audit-Pipelines verfolgen und aufzeichnen. Die Dokumentation sollte die zum Trainieren des Modells verwendeten Methoden, die verwendeten Hyperparameter und die in den Testphasen erhaltenen Metriken enthalten.  Durch eine vollständige Dokumentation wird das Verhalten des Modells während seines gesamten Lebenszyklus transparenter, ebenso wie die Daten, die seine Konstruktion beeinflusst haben, und alle Risiken, die entstehen können. Governance muss Risikomanagement und die Einhaltung von Gesetzen, Vorschriften und Unternehmensstandards umfassen.

Erklärbarkeit – Mangelnde Erklärbarkeit kann negative Auswirkungen auf die Menschen und die Gesellschaft haben, indem sie Vorurteile und Diskriminierung verstärkt. Erklärbarkeit ist die Fähigkeit, die Entscheidungen und Wahlen des implementierten Modells kurz und knapp zu verstehen. Auf diese Weise lässt sich das Verhalten des Modells überprüfen, seine Funktionalitäten verbessern und das Vertrauen der Stakeholders stärken. Erklärbarkeit hilft Stakeholders, Aufsichtsbehörden, Prüfern und Endnutzern, die Funktionsweise von Projekten zu verstehen und ihre Wirksamkeit zu bewerten. Ein weiterer Vorteil ist, dass Vorurteile, Fehler und andere unbeabsichtigte Folgen leichter aufgedeckt und korrigiert werden können. Daher ist es unerlässlich, die Erklärbarkeit von KI- und ML-Modellen zu erreichen, um das Vertrauen in die Technologie zu fördern und ihre ethische Nutzung zu gewährleisten. Derzeit gibt es Bibliotheken wie SHAP und LIME, die in Python verwendet werden können, um den „Blackbox“-Effekt in den Modellen zu reduzieren.

SHAP ist eine Bibliothek, die zur Verbesserung des Grades der Erklärbarkeit verwendet werden kann, um verantwortungsvollere KI- und ML-Projekte zu entwickeln.

Wenn Sie es mit einem komplexen Modell zu tun haben und die vom Modell getroffenen Entscheidungen verstehen wollen, kann die Verwendung von SHAP-Werten dabei helfen. Prognosemodelle helfen bei der Beantwortung der Frage „Wie viel?“, aber SHAP-Werte verraten Ihnen das „Warum“.

Eine Fallstudie:

Stellen Sie sich vor, Sie wollen ein Modell erstellen, das vorhersagt, ob ein Patient ein hohes Risiko hat, einen Herzinfarkt zu erleiden. Das Modell wird diese Vorhersage treffen, aber ohne die SHAP-Werte ist es nicht möglich zu verstehen, warum ein bestimmter Patient ein hohes Risiko hat. Mit seinen Werten hilft SHAP, die wichtigsten Variablen für die Prognosen zu identifizieren und ermöglicht es uns, das Modell nicht nur auf globaler Ebene zu kennen, sondern auch die Prognosen für jedes Individuum im Besonderen zu verstehen.

Die SHAP-Bibliothek enthält eine Vielzahl von Grafiken, die die Interpretation der erstellten Modelle erleichtern. Die folgende Abbildung zeigt einige dieser Grafiken und erklärt, wie sie interpretiert werden können.

Mean Plot

In dieser Grafik können wir die Bedeutung der einzelnen Variablen erkennen. Die Reihenfolge, in der die Variablen erscheinen, wird durch die absoluten SHAP-Mittelwerte für das gesamte Dataset bestimmt. Die absoluten SHAP-Mittelwerte stellen im Durchschnitt dar, wie stark jede Variable das Outcome in positiver oder negativer Richtung beeinflusst.

Beeswarm

Jedes Individuum wird mit einem Punkt für jede Variable dargestellt. Die Punkte werden entsprechend ihrem SHAP-Wert horizontal auf der x-Achse verteilt und in Bereichen mit einer hohen Dichte an SHAP-Werten vertikal gestapelt. Anhand der Verteilung der Werte können wir erkennen, wie eine Variable das Modell beeinflusst. Hohe Werte der Variablen erscheinen in Rot, niedrige Werte in Blau.

Decision plot

Es aggregiert mehrere SHAP-Werte aus verschiedenen Variablen, so dass wir sehen können, wie das Modell Vorhersagen trifft. Die Bewegung der Linien entlang der x-Achse ist auf den SHAP-Wert für jede Variable zurückzuführen. Diese Grafik liefert die gleichen Informationen wie das Waterfall Plot, ermöglicht jedoch die Analyse des Verhaltens mehrerer Individuen. Anhand von zehn Beobachtungen lassen sich einige Trends erkennen. Ein positiver SHAP-Wert erhöht das Outcome, während ein negativer Wert es verringert.

Waterfall plot

Es veranschaulicht den Beitrag der einzelnen Variablen zu den Outcome eines Individuums. Die Variablen sind nach ihrem Einfluss auf das Outcome geordnet. Die Auswirkungen und die Richtung der Variablen auf das Outcome werden durch die SHAP-Werte angegeben. Rote Pfeile „schieben“ das Modell in Richtung höherer Werte und blaue Pfeile in Richtung niedrigerer Werte. Das vorhergesagte Outcome ist die Summe aller SHAP-Werte plus des Base Value.

Force plot

Mit dem Force Plot wird jeweils ein Individuum analysiert. Variablen, die sich positiv auf das Outcome auswirken, sind in rot, solche, die sich negativ auswirken, in blau dargestellt. Die langen Pfeile zeigen die Variablen mit den höchsten SHAP-Werten. Wenn f(x) kleiner als das Base Value ist, wissen wir, dass dieses Individuum mit größerer Wahrscheinlichkeit zur negativen Klasse gehört. Das Base Value ist das Durchschnitt des Outcome des Dataset.

SHAP-Werte sind sehr nützlich, da sie auf eine große Vielfalt von Problemen angewendet werden können, von denen einige in der nachstehenden Tabelle aufgeführt sind.

ML- und KI-Modelle haben das Potenzial, die Art und Weise, wie wir leben, arbeiten und miteinander interagieren, grundlegend zu verändern, und breiten sich rasch auf alle Aspekte des täglichen Lebens aus. Indem wir ethische Überlegungen in die Konzeption, Entwicklung und Umsetzung von Systemen einbeziehen, können wir sicherstellen, dass diese Technologien auf verantwortungsvolle und nachhaltige Weise zur Verbesserung des Lebens eingesetzt werden.

In dem Maße, in dem KI und ML sich entwickeln und die Welt gestalten, müssen wir vorsichtig bleiben und Anstrengungen unternehmen, um moralische und verantwortungsvolle Praktiken zu fördern.

Wir hoffen, mit diesen Informationen Ihr Interesse an künstlicher Intelligenz und ihrem verantwortungsvollen Einsatz sowie an SHAP, einem besonders nützlichen Werkzeug zur Verbesserung der Erklärbarkeit von ML-Modellen, geweckt zu haben!

Wenn Sie an der Entwicklung Ihres Projekts interessiert sind, schicken Sie uns eine E-Mail und informieren Sie sich über unsere Erfolgsgeschichten.

Quellen:

• Burt, A. (13, December, 2019). The AI Transparency Paradox. Harvard Business Review Home: https://hbr.org/2019/12/the-ai-transparency-paradox
• Cooper, A. (1, November, 2021). Explaining Machine Learning Models: A Non-Technical Guide to Interpreting SHAP Analyses. Aidan Cooper’s Blog: https://www.aidancooper.co.uk/a-non-technical-guide-to-interpreting-shap-analyses/
• Ethics of Artificial Intelligence. (s.d.). UNESCO: https://www.unesco.org/en/artificial-intelligence/recommendation-ethics
• Hollander, W. (22, December, 2020). What is explainability of ML and what we can do? Medium: https://medium.com/ubiops-tech/what-is-explainability-of-ml-and-what-we-can-do-d326d42f8c38
• Kuo, C. (14, September, 2019). Explain Your Model with the SHAP Values. Medium: https://medium.com/dataman-in-ai/explain-your-model-with-the-shap-values-bc36aac4de3d
• Lundberg, S. (2018). SHAP. SHAP documentation: https://shap.readthedocs.io/en/latest/
• mazzanti, S. (4, January, 2020). SHAP Values Explained Exactly How You Wished Someone Explained to You. Medium: https://towardsdatascience.com/shap-explained-the-way-i-wish-someone-explained-it-to-me-ab81cc69ef30#:~:text=In%20a%20nutshell%2C%20SHAP%20values%20are%20used%20whenever,answer%20the%20%E2%80%9Chow%20much%E2%80%9D.%20SHAP%20answers%20the%20%E2%80%9Cwhy%E2
• Radecic, D. (9, November, 2020). SHAP: How to Interpret Machine Learning Models With Python. better data science: https://betterdatascience.com/shap/
• Randall, L. (27, August, 2021). 6 Key Principles for Responsible AI. Informatica: https://www.informatica.com/blogs/6-key-principles-for-responsible-ai.html
• Robinson, S. (26, September, 2019). Building ML models for everyone: Understanding fairness in machine learning. Google Cloud: https://cloud.google.com/blog/products/ai-machine-learning/building-ml-models-for-everyone-understanding-fairness-in-machine-learning
• Sanford, S. (11, August, 2021). How to Build Accountability into Your AI. Harvard Business Review: https://hbr.org/2021/08/how-to-build-accountability-into-your-ai
• Trevisan, V. (17, January, 2022). Using SHAP Values to Explain How Your Machine Learning Model Works. Medium: https://towardsdatascience.com/using-shap-values-to-explain-how-your-machine-learning-model-works-732b3f40e137
• What is AI governance? (s.d.). IBM: https://www.ibm.com/analytics/common/smartpapers/ai-governance-smartpaper/#ai-governance-delivers