Kurz gesagt: Explainable AI (XAI, zu Deutsch „erklärbare KI”) bezeichnet Methoden, mit denen sich nachvollziehen lässt, warum eine KI zu einem bestimmten Ergebnis gekommen ist – statt nur eine Zahl oder ein „Ja/Nein” auszuspucken, liefert das System zusätzlich eine für Menschen verständliche Begründung. Für KMU ist das relevant, weil viele KI-gestützte Entscheidungen – von der Kreditwürdigkeitsprüfung bis zur Bewerbervorauswahl – heute rechtlich und praktisch begründet werden müssen.
Was bedeutet Explainable AI?
Viele leistungsstarke KI-Modelle, insbesondere komplexe Machine-Learning- und Deep-Learning-Systeme, arbeiten als sogenannte „Black Box”: Sie liefern ein Ergebnis, aber der Weg dorthin bleibt selbst für Fachleute schwer nachvollziehbar. Explainable AI fasst Verfahren zusammen, die genau dieses Problem adressieren – etwa indem sie anzeigen, welche Eingabefaktoren ein Ergebnis wie stark beeinflusst haben, oder indem sie einzelne Entscheidungen mit einer nachvollziehbaren Begründung versehen. Wichtig ist dabei eine Unterscheidung, die auch im EU AI Act eine Rolle spielt: Transparenz bedeutet, offenzulegen, dass und wie ein System grundsätzlich funktioniert; Erklärbarkeit geht einen Schritt weiter und beantwortet die konkrete Frage, warum in einem einzelnen Fall genau dieses Ergebnis zustande kam. XAI ist damit kein einzelnes Tool, sondern ein Sammelbegriff für ganz unterschiedliche technische Ansätze – von einfach interpretierbaren Modellen bis zu nachträglichen Erklärungsverfahren für komplexe Systeme.
Warum ist Explainable AI für mein Unternehmen wichtig?
Sobald ihr KI-Systeme für Entscheidungen einsetzt, die Menschen betreffen – etwa bei der Vorauswahl von Bewerbungen, der Bonitätsprüfung von Kunden oder der automatisierten Preisgestaltung –, entsteht schnell die Frage: „Warum genau dieses Ergebnis?” Ohne nachvollziehbare Begründung könnt ihr weder intern prüfen, ob ein Modell fair und diskriminierungsfrei arbeitet, noch extern glaubhaft erklären, wie eine Entscheidung zustande kam. Das betrifft nicht nur die Nachvollziehbarkeit gegenüber Kund:innen und Bewerber:innen, sondern auch euer eigenes Risikomanagement: Ein Modell, das ihr nicht erklären könnt, könnt ihr auch nicht zuverlässig auf Fehler oder Verzerrungen (Bias) hin überprüfen. Gerade für Hochrisiko-Anwendungen im Sinn des EU AI Act – etwa im Personal- oder Kreditbereich – ist Nachvollziehbarkeit zudem keine Kür mehr, sondern Teil der regulatorischen Erwartungen an Anbieter und Betreiber solcher Systeme.
Explainable AI in der Praxis
Stellt euch ein kleines Unternehmen vor, das ein KI-gestütztes Tool zur Vorauswahl von Bewerbungen einsetzt. Ohne XAI liefert das Tool nur ein Ranking: Bewerbung A landet vorn, Bewerbung B hinten – ohne erkennbaren Grund. Mit einem erklärbaren Ansatz zeigt das System dagegen zusätzlich an, welche Faktoren das Ranking bestimmt haben, zum Beispiel „einschlägige Berufserfahrung: stark positiv gewichtet” oder „fehlende Angabe zu Sprachkenntnissen: negativ gewichtet”. So könnt ihr als Unternehmen prüfen, ob diese Gewichtung tatsächlich sachlich gerechtfertigt ist, und im Zweifelsfall gegenüber einer abgelehnten Bewerberin oder einem abgelehnten Bewerber nachvollziehbar begründen, worauf die Entscheidung beruhte. Ähnlich funktioniert es bei automatisierten Bonitätsprüfungen: Statt nur eines Scores erhaltet ihr eine Übersicht der ausschlaggebenden Faktoren – ein Mehrwert sowohl für die interne Qualitätssicherung als auch für Anfragen betroffener Personen.
Explainable AI und der Datenschutz (DSGVO)
Explainable AI hat einen direkten Bezug zum Datenschutzrecht. Nach Art. 15 Abs. 1 lit. h DSGVO haben betroffene Personen bei automatisierter Entscheidungsfindung ein Auskunftsrecht, das auch aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und die angestrebten Auswirkungen einer solchen Verarbeitung umfasst. Ergänzend verbietet Art. 22 Abs. 1 DSGVO grundsätzlich ausschließlich automatisierte Entscheidungen – einschließlich Profiling –, die gegenüber einer Person rechtliche Wirkung entfalten oder sie in ähnlicher Weise erheblich beeinträchtigen; das gilt vorbehaltlich der drei engen Ausnahmen (Vertragserfüllung, gesetzliche Zulassung, ausdrückliche Einwilligung). Selbst wenn eine dieser Ausnahmen greift, bleiben der betroffenen Person nach Art. 22 Abs. 3 DSGVO das Recht auf menschliches Eingreifen, auf Darlegung des eigenen Standpunkts und auf Anfechtung der Entscheidung erhalten – Rechte, die sich in der Praxis nur sinnvoll ausüben lassen, wenn die Entscheidung überhaupt erklärbar ist. Wie ernst das inzwischen genommen wird, zeigt das BGH-Urteil vom 27.03.2025 im sogenannten SCHUFA-Fall: Der Bundesgerichtshof hat darin bestätigt, dass betroffene Personen ein Recht auf Erklärung der wesentlichen Faktoren eines automatisiert erstellten Scores haben. Für Hochrisiko-KI-Systeme kommt mit Art. 13 EU AI Act eine weitere, eng verwandte Pflicht hinzu: Solche Systeme müssen so gestaltet sein, dass ihr Betrieb für Betreiber hinreichend transparent ist, damit diese die Ausgaben angemessen interpretieren und nutzen können. Ob und in welchem Umfang eine konkrete KI-Anwendung in eurem Unternehmen unter Art. 22 DSGVO oder unter die Hochrisiko-Vorgaben des EU AI Act fällt, hängt stark vom Einzelfall ab – das solltet ihr im Zweifel rechtlich prüfen lassen, bevor ihr ein Tool produktiv einsetzt.
Weiterführendes
Verwandte Begriffe findet ihr im Lexikon unter Bias in KI, der EU AI Act und Profiling. Wie wir Tools grundsätzlich bewerten, erfahrt ihr unter /methodik.
Häufige Fragen
Ist Explainable AI gesetzlich vorgeschrieben?
Es gibt keine allgemeine Pflicht, jede KI erklärbar zu machen. Bei automatisierten Entscheidungen mit rechtlicher Wirkung greifen aber Auskunfts- und Erklärungsrechte aus der Datenschutz-Grundverordnung, und für Hochrisiko-KI-Systeme sieht die EU-KI-Verordnung eigene Transparenzpflichten vor. Ob eine konkrete Anwendung betroffen ist, solltet ihr im Einzelfall prüfen lassen.
Macht Explainable AI meine KI-Anwendung automatisch DSGVO-konform?
Nein. Explainable AI hilft dabei, eine der Voraussetzungen für automatisierte Entscheidungen zu erfüllen, nämlich Nachvollziehbarkeit. Sie ersetzt aber nicht die weiteren datenschutzrechtlichen Anforderungen wie Rechtsgrundlage, Datensparsamkeit oder gegebenenfalls einen Auftragsverarbeitungsvertrag.
Brauchen auch kleine Unternehmen erklärbare KI-Systeme?
Das hängt vom Einsatzzweck ab. Setzt ein kleines Unternehmen KI für Entscheidungen ein, die Kunden oder Bewerber spürbar betreffen, etwa bei Bonitätsprüfungen oder Bewerbervorauswahl, gewinnt Nachvollziehbarkeit schnell an Bedeutung, unabhängig von der Unternehmensgröße.
Wie erkenne ich, ob ein KI-Tool erklärbar ist?
Ein Hinweis darauf ist, ob ein Tool neben dem Ergebnis auch die ausschlaggebenden Faktoren einer Entscheidung anzeigt, etwa in Form von Gewichtungen oder Begründungen. Verlässliche Angaben dazu findet ihr in der Regel in der Dokumentation des jeweiligen Anbieters, die ihr vor dem Einsatz prüfen solltet.