Was, wenn wir die Ergebnisse eines Modells des maschinellen Lernens (ML) auf einfache Weise und im Kontext des jeweiligen Problems interpretieren könnten?

Die Algorithmen des maschinellen Lernens (ML) sind als „Black Boxes“ und „White Boxes“ bekannt. „Black Boxes“ stellen sehr komplexe Modelle dar, die selbst für Experten auf diesem Gebiet schwer zu interpretieren sind. Die „White Boxes“ dagegen entsprechen einfacheren Modellen, die von Datenwissenschaftlern interpretiert werden können. (state, n.d.). Aber keins dieser Modelle ist leicht zu verstehen für jemand, der nicht auf diesem Gebiet arbeitet. So haben die verschiedenen Projekt-Stakeholder Schwierigkeiten, die in den Modellen getroffenen Entscheidungen zu verstehen und ihnen zu vertrauen.

Um diese Problematik zu überwinden, ist der Bereich der Erklärbaren KI entstanden. Er soll dazu beitragen, die Entscheidungen der Modelle zu verstehen und transparent zu machen, um so das Vertrauen und die Sicherheit beim Einsatz von ML-Modellen in kritischen Bereichen zu erhöhen. (IBM, n.d.)

Es gibt immer mehr Python-Bibliotheken, die uns bei der Interpretation der Modelle helfen. Die derzeit am häufigsten verwendeten sind: SHAP, LIME und ELI5.  Aber obwohl diese Python-Bibliotheken bereits existieren und es uns ermöglichen, die Bedeutung der einzelnen Variablen für die getroffenen Voraussagen zu verstehen, ist es schwierig, die Bedeutung der jeweiligen Beiträge (positiver vs. negativer Wert, hohe vs. niedrige Werte) zu interpretieren und zu verstehen, was sie im Kontext des jeweiligen Problems/Geschäfts bedeuten.

Aber wie, wenn es möglich wäre, diese Beiträge in eine für das jeweilige Problem geeignete Sprache zu übersetzen, so dass sie von Personen ohne ML-Kenntnisse leicht interpretiert werden können?

Bei diesem Vorschlag wird ein Large Language Model (LLM) an die LIME-Bibliothek gekoppelt, so dass die vom ML-Modell getroffenen Entscheidungen nachvollziehbar sind und jede Entscheidung im Kontext des jeweiligen Problems erklärt werden kann.

Ein LLM ist ein Modell, das fortgeschrittene Algorithmen zur Verarbeitung natürlicher Sprache (NLP) verwendet, um Text zu verstehen und zu erzeugen.  Diese Modelle werden anhand großer Mengen von Textdaten wie Bücher und Artikel aus dem Internet trainiert, um zu verstehen, wie Sprache strukturiert ist und wie Wörter und Ausdrücke sich zueinander verhalten. Ein bekanntes Beispiel für ein LLM ist der GPT (Generative Pre-trained Transformer). (Souza, 2023)

Wie ist das möglich?

Wenn wir die Kontextualisierung des Problems, das wir lösen wollen, mit den Ergebnissen aus der LIME-Bibliothek kombinieren und diese Informationen in die LLM-Eingabeaufforderung eingeben, können wir Beiträge (schwer zu interpretierende Zahlen) in natürliche Sprache mit einfachen, auf den Kontext des jeweiligen Problems/Unternehmens zugeschnittenen Erklärungen umwandeln.

Um besser zu verstehen, wie dieser Vorschlag funktioniert, verwenden wir ein Beispiel: Ein Klassifizierungsproblem zur Vorhersage, ob ein Patient Diabetes entwickeln wird oder nicht, und zwar basierend auf klinischen Variablen wie Glukose, Insulin, BMI, Diabetes Pedigree Function (Funktion mit der Wahrscheinlichkeit der Entwicklung von Diabetes aufgrund der Familiengeschichte), Alter, Anzahl der Schwangerschaften, Blutdruck und Hautdicke.

Betrachten wir diese Person genauer:

Warum sagt das ML-Modell voraus, dass diese Person keinen Diabetes entwickeln wird?

Die LIME-Bibliothek begründet dies wie oben dargestellt. Es ist deutlich zu erkennen, dass das Modell voraussagt, dass diese Person mit 63%iger Wahrscheinlichkeit keinen Diabetes entwickeln wird. Aber was bedeutet es, wenn ein Glukosewert unter 96 mit 0,19 bewertet wird? Mit diesen Werten allein sind die Ergebnisse schwer zu interpretieren.

Mit Hilfe eines LLM der OpenAI, mit dem GPT-3.5-Modell und unter Angabe des theoretischen Kontextes des Problems, konnten wir einen Bericht mit der Interpretation des ML-Modells erhalten. In diesem Fall wurde dem LLM gesagt, dass es sich um ein Klassifizierungsproblem zur Vorhersage der Veranlagung für Diabetes handelt und dass das Ziel darin besteht, eine Interpretation der erhaltenen Ergebnisse zu geben. Der erhaltene Bericht sah folgendermaßen aus:

„Die Interpretation des Modells für diese Faktoren ist folgende:

– Glukose <= 96,00: Diese Variable ergibt den höchsten negativen Beitrag von -0,193, was bedeutet, dass Glukosewerte unter 96 mg/dL mit einem geringeren Risiko, Diabetes zu entwickeln, verbunden sind.

– 111,25 < Insulin <= 125,00: Insulinwerte von 111,25 bis 125,00 ergeben einen positiven Beitrag von 0,073, was bedeutet, dass höhere Insulinwerte das Risiko, Diabetes zu entwickeln, erhöhen.

– BMI > 37,52: Ein BMI über 37,52 ergibt einen positiven Beitrag von 0,067, was bedeutet, dass Übergewicht ein Risikofaktor für Diabetes ist.

– Diabetes Pedigree Function <= 0,25: Eine niedrigere Diabetes Pedigree Function mit einem Beitrag von -0,061 bedeutet eine geringere genetische Veranlagung für Diabetes.

– Alter zwischen 23,00 und 31,00: Diese Altersgruppe ergibt einen negativen Beitrag von -0,041, was bedeutet, dass ein geringeres Alter mit einem niedrigeren Risiko, Diabetes zu entwickeln, verbunden ist.

– Schwangerschaften zwischen 3,00 und 6,75: Dieser Wert ergibt einen negativen Beitrag von -0,014, was bedeutet, dass 3 bis 6,75 Schwangerschaften mit einem geringeren Risiko, Diabetes zu entwickeln, verbunden sind.

– 72,41 < Blutdruck <= 80,00: Blutdruckwerte zwischen 72,41 und 80,00 ergeben einen geringfügig positiven Beitrag von 0,004, was bedeutet, dass ein höherer Blutdruck ein Risikofaktor für Diabetes sein kann.

– Hautdicke zwischen 29,00 und 29,15: Dieser Bereich ergibt einen sehr geringen negativen Beitrag von -0,001, was bedeutet, dass die Hautdicke in diesem Bereich kein wesentlicher Risikofaktor für Diabetes ist.

Insgesamt geht das Modell davon aus, dass der Patient ein mäßiges Risiko hat, an Diabetes zu erkranken, wobei die wichtigsten Risikofaktoren hohe Glukosespiegel, hohe Insulinspiegel und Übergewicht sind. Jedoch können das jüngere Alter des Patienten, eine geringere genetische Veranlagung und weniger Schwangerschaften Schutzfaktoren sein. Es ist jedoch zu betonen, dass es sich hierbei um statistische Korrelationen handelt, die durch ärztlichen Rat validiert werden sollten. Die Beiträge des Modells liefern jedoch wertvolle Einblicke in die Faktoren, die für die Vorhersage des Diabetesrisikos bei diesem Patienten relevant sein könnten.“

Mit der Antwort des LLM können die Stakeholder verstehen, wie das Modell zu der Annahme kommt, dass dieser Patient keinen Diabetes entwickeln wird, und erkennen, ob diese Vorhersage klinisch sinnvoll ist

Diese Vereinfachung bei der Erklärung der Ergebnisse lässt das Konzept der „Black Boxes“ außer Acht und schafft Transparenz und Verantwortung bei der Verwendung von Vorhersagemodellen, so dass alle Stakeholder die Ergebnisse verstehen und ohne Bedenken nutzen können.

Die LIME-Bibliothek kann bei verschiedenen Problemen genutzt werden, insbesondere bei Regressions- oder Klassifizierungsproblemen und bei der Bildklassifizierung, was die Anzahl der Probleme, bei denen diese Lösung eingesetzt werden kann, erweitert.

In einer Welt, in der künstliche Intelligenz und maschinelles Lernen immer mehr in den Vordergrund rücken, trägt die Möglichkeit, die „Black Boxes“ zu entschlüsseln, dazu bei, Schritte in Richtung moralischer und verantwortungsbewusster Praktiken und ihrer guten Nutzung im Dienste der Menschheit zu unternehmen.

BI4ALL möchte auf diesem Weg eine führende Position einnehmen. Wenn Sie daran interessiert sind, die Möglichkeiten von Data Science und künstlicher Intelligenz für Ihr Unternehmen maximal zu nutzen, stehen wir Ihnen gerne zur Beratung für Ihr Projekt zur Verfügung.

Literatur

IBM. (s.d.). Abgerufen aus https://www.ibm.com/topics/explainable-ai

Souza, A. (Juli 2023). Medium. Abgerufen aus https://medium.com/blog-do-zouza/tudo-o-que-voc%C3%AA-precisa-saber-sobre-llm-large-language-model-a36be85bbf8f

state, A. (s.d.). Abgerufen aus https://www.activestate.com/blog/white-box-vs-black-box-algorithms-in-machine-learning/