Erklärbare KI (Explainable AI)

Was Explainable AI ist und warum sie in Finanzteams zählt

Explainable AI, oft zu XAI abgekürzt, umfasst die Techniken und Gestaltungsprinzipien, mit denen sich die Ergebnisse von KI-Systemen für all jene nachvollziehen lassen, die sich darauf verlassen. Die Kernfrage dahinter ist einfach: Warum liefert das Modell genau dieses Ergebnis? Im Finanzumfeld ist das selten eine rein akademische Frage. Ein CFO, der nicht erklären kann, warum ein Kunde keinen Kredit erhält, warum eine Zahlung einer bestimmten Rechnung zugeordnet wurde oder warum sich eine Cashflow-Prognose um zehn Prozent verschiebt, hat ein echtes Problem.

Vier Faktoren rücken die Erklärbarkeit in Finanzteams weiter nach oben auf die Agenda. Regulierungsbehörden fordern sie zunehmend ein, denn EU AI Act, DSGVO und die Vorschriften zur fairen Kreditvergabe verlangen allesamt aussagekräftige Informationen über automatisierte Entscheidungen. Prüfer fordern sie ein, weil SOX, interne Revision und gesetzliche Abschlussprüfung nachweisbare Kontrollen über die Systeme brauchen, die das Hauptbuch berühren. Fachanwender fordern sie ein, weil Controller und Kreditmanager nicht auf KI-Ergebnisse reagieren, die sie nicht hinterfragen können. Und Entwicklungsteams fordern sie ein, denn wenn ein KI-natives System versagt, lässt sich die Ursache ohne Einblick in die Entscheidungslogik des Modells nicht ermitteln.

Spektrum: Glass-Box-, Gray-Box- und Black-Box-Modelle

Nicht alle Modelle sind gleich undurchsichtig. In der XAI-Diskussion ordnet man Modelle üblicherweise auf einem Spektrum ein.

• Glass-Box-Modelle wie lineare Regression, logistische Regression und kleine Entscheidungsbäume sind von Natur aus interpretierbar. Ein Mensch kann die Regeln nachlesen und die Entscheidung von Hand nachvollziehen.
• Gray-Box-Modelle wie Gradient Boosting und Random Forests lassen sich nicht direkt lesen, liefern aber verwertbare Feature-Importance-Werte. Diese zeigen, welche Eingangsgrößen das Ergebnis bestimmt haben.
• Black-Box-Modelle wie tiefe neuronale Netze und große Sprachmodelle enthalten Milliarden von Parametern und entziehen sich der direkten Prüfung. Sie erfordern nachgelagerte Erklärungsverfahren, die zusätzlich aufgesetzt werden.

Gut interpretierbare Modelle sind oft weniger genau als komplexe. Genau das ist der zentrale Zielkonflikt, vor dem Finanzverantwortliche stehen: Entscheiden sie sich für eine transparente Scorecard oder für ein leistungsstarkes neuronales Modell?

Gängige XAI-Techniken

In der Praxis dominieren einige wenige XAI-Techniken die Arbeit im Finanzbereich:

• Feature Importance: bildet eine Rangfolge, welche Eingabegrößen eine Entscheidung am stärksten geprägt haben. Nützlich für Kredit- und Risikomodelle.
• SHAP-Werte: eine spieltheoretische Methode auf Basis der Shapley-Werte. Sie ordnet jeder einzelnen Vorhersage zu, wie viel jedes Merkmal dazu beigetragen hat.
• LIME: Local Interpretable Model-agnostic Explanations. Dieses Verfahren nähert ein komplexes Modell rund um einen bestimmten Datenpunkt durch ein einfacheres an.
• Attention-Visualisierung: zeigt, auf welche Eingabe-Tokens sich ein LLM oder Transformer konzentriert hat, während es seine Ausgabe erzeugt.
• Kontrafaktische Erklärungen: Aussagen der Form wenn X um Y anders gewesen wäre, hätte sich die Entscheidung geändert. Kundschaft und Aufsichtsbehörden verstehen sie intuitiv.
• Quellenangaben und Herkunftsnachweis: Bei RAG-Systemen verknüpft das System jede Aussage in der Ausgabe mit dem zugrunde liegenden Quelldokument.

Anwendungsfälle in der Debitorenbuchhaltung: Kreditvergabe, Zahlungsabgleich, Streitfälle und Prognosen

In der Debitorenbuchhaltung und im Order-to-Cash ist Erklärbarkeit kein Nice-to-have. Sie entscheidet darüber, ob ein Team einem System vertraut oder es umgeht.

Kreditentscheidungen bergen das höchste Risiko. Verweigern Sie einem Kunden den Kredit oder setzen Sie ihm ein engeres Limit, sollte das System die wichtigsten Faktoren hinter der Entscheidung offenlegen. Ebenso das Gegenszenario, das zu einem anderen Ergebnis geführt hätte. In vielen Rechtsräumen schreibt der Gesetzgeber das strikt vor.

Cash Application (Zahlungsabgleich) profitiert von Konfidenzwerten und Abgleichsignalen. Ordnet die KI eine Zahlung einer Rechnung zu, sollten Nutzer nachvollziehen können, warum: Rechnungsnummer auf dem Zahlungsavis, übereinstimmender Betrag, Kundenhistorie, unscharfer Textabgleich im Verwendungszweck.

Die Klassifizierung von Streitfällen muss erklären, warum sie einen Abzug als Preisdifferenz und nicht als Fehlmenge oder Werbekostenzuschuss erfasst. So korrigieren Ihre Sachbearbeiter Fehlkodierungen schnell.

Die Cashflow-Prognose sollte offenlegen, welche Faktoren eine Vorhersage am stärksten beeinflusst haben, sei es Saisonalität, die verzögerte Zahlung eines Großkunden oder eine jüngste Veränderung beim DSO.

Grenzen der Erklärbarkeit von LLMs

Große Sprachmodelle sind die größte XAI-Herausforderung in modernen Finanzsystemen. Bei mehreren Hundert Milliarden Parametern kann kein Mensch mehr nachvollziehen, wie das Modell genau argumentiert. In der Praxis behilft man sich mit drei Ansätzen: Chain-of-Thought-Prompting, bei dem das Modell seine Argumentation im Klartext ausformuliert, Quellenangaben aus einer RAG-Schicht sowie Konfidenzwerte. Jeder dieser Ansätze hilft, doch jeder hat seine Grenzen. Eine Chain-of-Thought-Herleitung ist selbst wieder generierter Text und gibt womöglich nicht getreu wieder, was das Modell intern tatsächlich getan hat. Quellenangaben funktionieren nur, wenn die Retrieval-Schicht die richtigen Dokumente gefunden hat. Und die Konfidenzwerte von LLMs sind bekanntermaßen schlecht kalibriert.

Finanzverantwortliche sollten dies ehrlich einordnen: LLM-Erklärungen sind nützliche, prüfbare Artefakte, aber keine Wahrheit darüber, wie das Modell denkt. Kombinieren Sie sie deshalb am besten mit deterministischen Leitplanken, mit Schwellenwerten für die menschliche Prüfung und mit strukturierten Protokollen, die festhalten, was abgerufen, was generiert und welche Aktion ausgeführt wurde.

So bewerten Sie KI-natives Forderungsmanagement auf Erklärbarkeit

Wenn Finanzverantwortliche eine KI-native oder agentische Plattform für das Forderungsmanagement bewerten, sollten sie auf sechs konkrete Fähigkeiten achten.

• Konfidenzwerte zu jeder automatisierten Entscheidung, sichtbar in der Benutzeroberfläche und in den Protokollen.
• Quellenangaben für jedes Ergebnis einer RAG- oder LLM-Komponente, die auf das zugrunde liegende Zahlungsavis, die Vertragsklausel oder das Richtliniendokument verweisen.
• Merkmalsattribution für Kredit-, Risiko- und Prognosemodelle, damit Nutzer die wichtigsten Einflussfaktoren hinter einem Score oder einer Prognose erkennen.
• Prüfungssichere Protokolle, die für jede Transaktion Eingabedaten, Modellversion, Entscheidung und Begründung festhalten und die Sie gemäß Ihren gesetzlichen Aufbewahrungspflichten vorhalten.
• Klare Übergabepunkte zur menschlichen Prüfung, sobald die Konfidenz unter einen Schwellenwert fällt, wobei das System den Grund für die Eskalation sichtbar macht.
• Dokumentation im Einklang mit aufkommenden Standards wie ISO 42001 und dem Risikoklassifizierungsrahmen des EU AI Act.

Hüten Sie sich vor Erklärbarkeits-Theater: Manche Anbieter präsentieren aufpolierte, aber zu stark vereinfachte oder nachträglich konstruierte Begründungen, die zwar eine Checkliste erfüllen, Prüfern oder Anwendern aber nichts an die Hand geben, das sie hinterfragen könnten. Der richtige Test lautet: Erhalten ein Controller, ein externer Prüfer und eine Aufsichtsbehörde jeweils aus demselben System die Antwort, die sie brauchen, und zwar in einer Sprache, die zu ihrer Rolle passt?

Häufig gestellte Fragen

Ist Explainable AI für Debitoren- und Kreditsysteme gesetzlich vorgeschrieben?

Bei vielen Hochrisiko-Anwendungen ja. Der EU AI Act stuft die Bonitätsbewertung als Hochrisiko-Anwendung ein und verlangt aussagekräftige Informationen über die zugrunde liegende Logik. Artikel 22 DSGVO gibt Betroffenen das Recht, automatisierte Entscheidungen mit erheblichen Folgen aussagekräftig erläutert zu bekommen. In den USA schreiben Gesetze zur fairen Kreditvergabe wie ECOA und Regulation B vor, dass Sie bei einer Kreditablehnung die Gründe nennen. Selbst wo das Gesetz es nicht zwingend fordert, erwarten interne und behördliche Prüfer zunehmend, dass Sie die Nachvollziehbarkeit im Rahmen von SOX- und SOC-2-Prüfungen dokumentieren.

Was ist der Unterschied zwischen Interpretierbarkeit und Erklärbarkeit?

Interpretierbarkeit beschreibt in der Regel, wie gut ein Mensch die inneren Mechanismen eines Modells unmittelbar nachvollzieht. Bei linearen Modellen und Entscheidungsbäumen ist sie hoch. Erklärbarkeit ist das umfassendere Konzept: eine Entscheidung so darstellen, dass Menschen sie verstehen. Dazu zählen auch nachgelagerte Verfahren, die auf Black-Box-Modelle aufsetzen. In der Praxis verwenden viele beide Begriffe synonym. Doch die Interpretierbarkeit liegt näher am Modell selbst, während die Erklärbarkeit näher an der Nutzererfahrung liegt.

Lassen sich große Sprachmodelle wirklich erklärbar machen?

Nur teilweise. LLMs erzeugen Chain-of-Thought-Verläufe, zitieren über RAG abgerufene Quellen und geben Konfidenzwerte aus. All das liefert Prüfern und Nutzern nützliche Belege. Doch es handelt sich um generierte Ausgaben, nicht um direkte Einblicke in die Milliarden Parameter des Modells, und sie geben die zugrunde liegende Berechnung möglicherweise nicht exakt wieder. Behandeln Sie LLM-Erklärungen als prüffähige Nachweise, ergänzt um deterministische Leitplanken und menschliche Prüfung, nicht als absolute Wahrheit.

Was sind SHAP und LIME, und wann sollten wir sie einsetzen?

SHAP-Werte nutzen einen spieltheoretischen Ansatz und ordnen jeder einzelnen Eigenschaft ihren Beitrag zu einer bestimmten Vorhersage zu. So entsteht eine konsistente und theoretisch fundierte Bedeutung pro Merkmal. LIME nähert ein komplexes Modell rund um einen einzelnen Datenpunkt durch ein einfacheres Modell an und erklärt diese Vorhersage lokal. SHAP ist die gängigere Wahl für Kreditbewertungs- und Risikomodelle, bei denen Sie eine belastbare Zuordnung pro Entscheidung brauchen. LIME eignet sich für schnelle lokale Erklärungen und funktioniert mit nahezu jedem Modelltyp.

Wie hängt Explainable AI mit AI Governance zusammen?

AI Governance ist der übergeordnete Rahmen aus Richtlinien, Kontrollen, Rollen und Prozessen. Er stellt sicher, dass Sie KI-Systeme sicher, ethisch und regelkonform einsetzen. Explainable AI ist eine der technischen Fähigkeiten, die Governance-Rahmenwerke voraussetzen. Ein KI-System, das Sie nicht erklären können, lässt sich nicht sinnvoll steuern. Und die meisten Governance-Standards, darunter ISO 42001 und der EU AI Act, behandeln Erklärbarkeit als grundlegende Voraussetzung für Hochrisiko-Systeme.

Was ist Explainability-Theater und wie vermeiden wir es?

Explainability-Theater bezeichnet die Praxis, geschönte, aber übermäßig vereinfachte oder nachträglich konstruierte Begründungen zu präsentieren. Sie erfüllen eine Compliance-Checkliste, geben Anwendern, Prüfern oder Regulierungsbehörden aber nichts an die Hand, das sie tatsächlich hinterfragen könnten. Um das zu vermeiden, sollten Sie Folgendes verlangen: Erklärungen müssen sich aus Protokollen reproduzieren lassen, Konfidenzwerte müssen gegen reale Ergebnisse kalibriert sein, Quellenangaben müssen auf tatsächliche Dokumente verweisen, und dasselbe System muss die Fragen eines Sachbearbeiters, eines externen Prüfers und einer Regulierungsbehörde jeweils in einer angemessenen Sprache beantworten können.