Ein Hochrisiko-KI-System (englisch: high-risk AI system) ist ein KI-System, das nach der EU-KI-Verordnung (AI Act) wegen seiner möglichen Auswirkungen auf Sicherheit, Grundrechte oder wichtige Lebensbereiche besonders strengen gesetzlichen Anforderungen unterliegt. Wenn dein Unternehmen ein solches System einsetzt oder anbietet – etwa im Recruiting, in der Kreditvergabe oder bei biometrischen Anwendungen –, greifen zusätzliche Pflichten wie menschliche Aufsicht, Dokumentation und Risikomanagement. Diese Pflichten treffen nicht nur Hersteller, sondern in abgeschwächter Form auch Unternehmen, die solche Systeme lediglich einsetzen, sogenannte Betreiber oder Deployer.
Was bedeutet ein Hochrisiko-KI-System?
Die EU-KI-Verordnung unterscheidet KI-Systeme nach ihrem Risiko für Menschen und Gesellschaft – von “minimal” bis “unannehmbar”. Ein KI-System gilt laut Artikel 6 der Verordnung als Hochrisiko-System, wenn es entweder als Sicherheitskomponente in einem bereits EU-regulierten Produkt eingesetzt wird (zum Beispiel in Medizinprodukten, Aufzügen oder Maschinen) oder unter einen der in Anhang III (Annex III) aufgeführten Einsatzbereiche fällt. Zu diesen Einsatzbereichen zählen unter anderem biometrische Fernidentifikation, das Management kritischer Infrastruktur (Wasser, Gas, Strom, Verkehr), Zugang zu Bildung, Beschäftigung (etwa Bewerberauswahl oder Leistungsüberwachung), Kreditwürdigkeitsprüfung, Versicherungstarife, Strafverfolgung und Grenzmanagement.
Wichtig zu wissen: Nicht jedes KI-Tool, das in einem dieser Bereiche eingesetzt wird, ist automatisch ein Hochrisiko-System – die Verordnung sieht Ausnahmen vor, etwa wenn ein System nur eine rein unterstützende, verfahrenstechnische Aufgabe übernimmt, ohne das Ergebnis maßgeblich zu beeinflussen. Ob im Einzelfall ein Hochrisiko-System vorliegt, solltet ihr im Zweifel rechtlich prüfen lassen.
Beispiel aus der Praxis
Stell dir vor, ein mittelständisches Unternehmen nutzt ein KI-Tool, das eingehende Bewerbungen automatisch vorsortiert und ein Ranking der Kandidat:innen erstellt. Weil das Tool über Beschäftigungschancen mitentscheidet, fällt es unter die Kategorie “Beschäftigung” in Anhang III und gilt damit in der Regel als Hochrisiko-KI-System – sofern keine der Ausnahmen nach Artikel 6 greift. Das Unternehmen ist in diesem Fall nicht Anbieter – das wäre der Softwarehersteller –, sondern Betreiber (Deployer) des Systems. Trotzdem greifen eigene Pflichten: Nach Artikel 26 AI Act muss das Unternehmen geschultes Personal mit der menschlichen Aufsicht betrauen, das System gemäß der Gebrauchsanweisung des Herstellers einsetzen, den Betrieb laufend überwachen und Bewerber:innen vor dem KI-Einsatz informieren. Wird das gleiche Tool dagegen nur zur reinen Rechtschreibprüfung von Bewerbungsunterlagen genutzt, ohne Einfluss auf die Auswahlentscheidung, liegt in der Regel keine Hochrisiko-Einstufung vor – die genaue Einordnung hängt vom konkreten Einsatzzweck ab.
DSGVO-Relevanz für dein Unternehmen
Der AI Act ist eine eigenständige EU-Verordnung und ersetzt die DSGVO nicht – beide gelten parallel und überschneiden sich in der Praxis häufig. Wenn ein Hochrisiko-KI-System personenbezogene Daten verarbeitet, etwa Bewerbungsunterlagen, Gesundheitsdaten oder biometrische Merkmale, müssen weiterhin sämtliche datenschutzrechtlichen Voraussetzungen der DSGVO erfüllt sein – dazu gehört eine Rechtsgrundlage nach Art. 6 DSGVO und, sofern eine Auftragsverarbeitung vorliegt, insbesondere ein AVV nach Art. 28 DSGVO. In vielen Fällen löst der Einsatz eines Hochrisiko-KI-Systems zusätzlich die Pflicht zu einer Datenschutz-Folgenabschätzung nach Art. 35 DSGVO aus, da ein hohes Risiko für die Rechte und Freiheiten Betroffener naheliegt. Die Risikobewertung nach AI Act und die Datenschutz-Folgenabschätzung nach DSGVO sind zwei getrennte, aber inhaltlich verwandte Prüfungen, die sich in der Dokumentation sinnvoll ergänzen lassen. Bei Verstößen gegen die Pflichten für Hochrisiko-KI-Systeme drohen laut Artikel 99 AI Act empfindliche Bußgelder – bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist; bei verbotenen KI-Praktiken sogar bis zu 35 Millionen Euro oder 7 Prozent. Für kleine und mittlere Unternehmen sieht die Verordnung ausdrücklich reduzierte Bußgeldobergrenzen vor, die Pflichten selbst gelten aber grundsätzlich unabhängig von der Unternehmensgröße.
Verwandte Begriffe
Wer sich mit Hochrisiko-KI-Systemen beschäftigt, stößt schnell auf verwandte Begriffe: Der EU AI Act bildet den rechtlichen Rahmen für die gesamte Risikoklassifizierung. Verarbeitet euer System personenbezogene Daten, lohnt sich ein Blick auf die Datenschutz-Folgenabschätzung und, sofern ihr einen externen Anbieter beauftragt, auf den AVV. Grundlegend erklärt der Beitrag Was ist KI?, womit man es technisch überhaupt zu tun hat. Für die im AI Act geforderte menschliche Aufsicht ist der Beitrag zu Human in the Loop der passende Einstieg, und wenn euer System Entscheidungen über Menschen vorbereitet, lohnt zusätzlich der Blick auf automatisierte Entscheidungsfindung.
Häufige Fragen
Ist jedes KI-Tool im Recruiting automatisch ein Hochrisiko-KI-System?
Nein. Entscheidend ist, ob das Tool tatsächlich Einfluss auf Bewerbungs- oder Beschäftigungsentscheidungen nimmt. Reine Hilfsfunktionen ohne Einfluss auf die Auswahl gelten in der Regel nicht als Hochrisiko-System. Im Zweifel solltet ihr die konkrete Einstufung juristisch prüfen lassen.
Muss mein Unternehmen als Betreiber selbst eine Konformitätsbewertung durchführen?
Nein, die Konformitätsbewertung ist grundsätzlich Aufgabe des Anbieters, also des Herstellers der KI-Software. Als Betreiber müsst ihr das System aber gemäß der Gebrauchsanweisung einsetzen, den Betrieb überwachen und für qualifizierte menschliche Aufsicht sorgen.
Welche Strafen drohen bei einem Verstoß gegen die Pflichten für Hochrisiko-KI-Systeme?
Verstöße gegen die Pflichten für Anbieter und Betreiber können mit Bußgeldern von bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes geahndet werden, je nachdem, welcher Betrag höher ist. Für kleine und mittlere Unternehmen sieht die Verordnung reduzierte Obergrenzen vor.
Gilt ein einfacher Kundenservice-Chatbot als Hochrisiko-KI-System?
In der Regel nicht. Ein Chatbot, der lediglich Kundenanfragen beantwortet, fällt meist nicht unter die in Anhang III gelisteten Hochrisiko-Bereiche. Für ihn gelten stattdessen oft nur Transparenzpflichten, etwa der Hinweis, dass Nutzer mit einer KI kommunizieren. Ob im Einzelfall weitergehende Pflichten greifen, hängt vom konkreten Einsatzzweck ab.