Bias in einem KI-System bedeutet, dass es aufgrund seiner Trainingsdaten oder seiner Funktionsweise systematisch verzerrte Ergebnisse liefert. Wirkt sich diese Verzerrung auf Merkmale wie Geschlecht, Herkunft, Alter oder Behinderung aus, kann daraus eine Diskriminierung werden – mit rechtlichen Folgen für Unternehmen, die das Tool einsetzen.
Was bedeutet Bias und Diskriminierung in KI?
Bias (englisch für „Verzerrung“) entsteht, wenn ein KI-System nicht neutral entscheidet, sondern bestimmte Gruppen oder Ergebnisse systematisch bevorzugt oder benachteiligt. Die Ursache liegt meist in den Trainingsdaten: Wenn ein Modell überwiegend mit Daten aus der Vergangenheit lernt, übernimmt es auch die darin enthaltenen gesellschaftlichen Schieflagen – etwa wenn historische Bewerbungsdaten Männer bevorzugt haben und ein KI-Tool dieses Muster fortschreibt.
In der Praxis lassen sich grob drei Formen unterscheiden. Daten-Bias entsteht durch unausgewogene oder unvollständige Trainingsdaten, etwa wenn bestimmte Bevölkerungsgruppen in den Datensätzen unterrepräsentiert sind. Algorithmischer Bias entsteht durch die Art, wie das Modell selbst Merkmale gewichtet – auch ohne dass ein geschütztes Merkmal direkt eingegeben wird, kann ein Modell über Korrelationen (z. B. Postleitzahl als Näherung für Herkunft) indirekt diskriminierende Muster lernen. Interaktions-Bias entsteht erst nach dem Einsatz, wenn das System aus dem Verhalten der Nutzer weiterlernt und dadurch bestehende Verzerrungen verstärkt statt sie zu korrigieren.
Diskriminierung ist die rechtlich relevante Folgestufe: Sie liegt vor, wenn eine solche Verzerrung Menschen wegen geschützter Merkmale benachteiligt – dazu zählen nach dem Allgemeinen Gleichbehandlungsgesetz (AGG) unter anderem Geschlecht, ethnische Herkunft, Religion, Behinderung, Alter und sexuelle Identität. Nicht jeder Bias ist automatisch eine rechtswidrige Diskriminierung – aber jede KI-gestützte Diskriminierung beginnt mit einem unentdeckten Bias.
Warum ist Bias und Diskriminierung in KI für mein Unternehmen wichtig?
Für KMU ist das Thema keine akademische Übung, sondern betrifft konkrete Alltagsentscheidungen: die Vorauswahl von Bewerbungen, die automatisierte Einschätzung der Kreditwürdigkeit von Geschäftskunden, die Berechnung von Versicherungstarifen oder auch die automatisierte Priorisierung von Support-Anfragen. Überall dort, wo ein KI-Tool Menschen unterschiedlich behandelt, kann ein unentdeckter Bias zu einer rechtlich angreifbaren Entscheidung werden.
Rechtlich greifen dabei mehrere Ebenen ineinander. Art. 22 DSGVO schränkt vollautomatisierte Einzelentscheidungen mit rechtlicher oder ähnlich erheblicher Wirkung ein – etwa die automatische Ablehnung einer Bewerbung oder eines Kreditantrags ohne menschliche Beteiligung – und verlangt in solchen Fällen grundsätzlich die Möglichkeit menschlichen Eingreifens. Wer ein KI-Tool für folgenreiche automatisierte Einzelentscheidungen einsetzt, sollte deshalb prüfen, ob diese Voraussetzung erfüllt ist, und im Zweifel eine Datenschutz-Folgenabschätzung durchführen – sie hilft dabei, Risiken für Betroffene wie diskriminierende Effekte vorab systematisch zu erfassen.
Zusätzlich verpflichtet der EU AI Act Anbieter von Hochrisiko-KI-Systemen (dazu zählen unter anderem Systeme für Personalauswahl, Kreditvergabe und Versicherungstarifierung) nach Art. 10, Trainingsdaten auf mögliche Verzerrungen zu prüfen und geeignete Gegenmaßnahmen zu dokumentieren. Das entbindet das einsetzende Unternehmen aber nicht von einer eigenen Prüfpflicht: Ob ein konkretes Tool im jeweiligen Einsatzszenario als Hochrisiko-System im Sinne des EU AI Act gilt, solltet ihr im Zweifel direkt beim Anbieter oder über eine Datenschutz-/Rechtsberatung klären.
Kommt es tatsächlich zu einer nachweisbaren Benachteiligung wegen eines nach dem AGG geschützten Merkmals, können zusätzlich zum Datenschutzrecht Ansprüche Betroffener entstehen, etwa auf Entschädigung. Welche Konsequenzen im Einzelfall greifen, hängt stark vom konkreten Sachverhalt ab – pauschale Aussagen dazu sind nicht seriös möglich, eine rechtliche Einzelfallprüfung ist hier der sicherere Weg.
Bias und Diskriminierung in der Praxis
Beispiel Personalauswahl: Ein KI-Tool zur Vorauswahl von Bewerbungen wird mit den Daten der letzten zehn Jahre trainiert. In dieser Zeit wurden überwiegend Männer für Führungspositionen eingestellt. Das Modell lernt daraus das Muster „männliche Bewerber = geeigneter“ und bewertet Bewerbungen von Frauen systematisch schlechter – obwohl das Geschlecht nirgends explizit als Kriterium eingegeben wurde. Als datenschutzrechtlich Verantwortlicher trägt das einsetzende Unternehmen in der Regel die Hauptverantwortung für eine solche Entscheidung – im Einzelfall kann eine Rechtsberatung klären, ob auch den Tool-Anbieter eigene Pflichten treffen, etwa aus den Anforderungen des EU AI Act an Hochrisiko-Systeme.
Beispiel Kreditvergabe: Ähnliche Effekte können bei Scoring-Modellen auftreten, die Kreditwürdigkeit oder Zahlungsausfallrisiken einschätzen. Fließen etwa Wohnort oder Postleitzahl als Faktor ein, kann das Modell indirekt Menschen aus bestimmten Stadtteilen benachteiligen, auch wenn Herkunft oder Einkommen nie direkt abgefragt wurden – die Postleitzahl wirkt dann als indirekter Näherungswert für ein geschütztes oder sozial sensibles Merkmal. Für ein Unternehmen, das ein solches Tool zur Bonitätsprüfung von Geschäftspartnern einsetzt, bedeutet das: Auch scheinbar neutrale Merkmale sollten vor dem produktiven Einsatz auf indirekte Diskriminierungswirkung geprüft werden.
In beiden Fällen gilt: Je folgenreicher die Entscheidung für die betroffene Person, desto wichtiger ist eine dokumentierte Prüfung der Trainingsdaten und ein menschlicher Kontrollpunkt vor der endgültigen Entscheidung.
Weiterführendes
Häufige Fragen
Muss ich als kleines Unternehmen KI-Bias selbst prüfen, wenn ich nur ein fertiges Tool nutze?
Ja, grundsätzlich schon. Auch wenn ihr das KI-Modell nicht selbst entwickelt, bleibt euer Unternehmen als datenschutzrechtlich Verantwortlicher in der Regel für die Folgen der eingesetzten Entscheidung verantwortlich. Bei folgenreichen Einsatzbereichen wie Bewerbungsauswahl oder Kreditvergabe solltet ihr beim Anbieter konkret nachfragen, wie Verzerrungen in den Trainingsdaten geprüft und reduziert wurden.
Was ist der Unterschied zwischen Bias und Diskriminierung?
Bias ist die technische Verzerrung eines KI-Systems, die aus Trainingsdaten oder Modellentscheidungen entsteht. Diskriminierung liegt vor, wenn diese Verzerrung Menschen konkret wegen eines gesetzlich geschützten Merkmals benachteiligt, etwa Geschlecht oder Herkunft. Nicht jeder Bias ist automatisch eine rechtswidrige Diskriminierung, aber jede KI-gestützte Diskriminierung geht auf einen unentdeckten Bias zurück.
Wie erkenne ich Bias in einem KI-Tool, das ich bereits einsetze?
Ein erster Schritt ist, die Ergebnisse des Tools stichprobenartig nach Gruppen auszuwerten, etwa ob Bewerbungen bestimmter Herkunft oder eines bestimmten Geschlechts systematisch schlechter bewertet werden. Auffällige Muster solltet ihr dokumentieren und mit dem Anbieter klären, welche Prüf- und Korrekturmaßnahmen bei der Entwicklung des Modells vorgesehen waren.
Welche Folgen drohen bei einer diskriminierenden KI-Entscheidung?
Je nach Fall können sowohl datenschutzrechtliche Konsequenzen nach der DSGVO als auch Ansprüche Betroffener nach dem Allgemeinen Gleichbehandlungsgesetz entstehen, etwa auf Entschädigung. Welche Konsequenzen im konkreten Einzelfall greifen, hängt stark vom Sachverhalt ab und sollte im Zweifel rechtlich geprüft werden.