Künstliche Intelligenz und Diskriminierung: Vom Algo­rithmus gedisst

"Ob in Bewerbungsverfahren, bei Bankkrediten, Versicherungen oder der Vergabe staatlicher Leistungen: Immer öfter übernehmen automatisierte Systeme oder Künstliche Intelligenz Entscheidungen, die für Menschen im Alltag wichtig sind. Hier werden Wahrscheinlichkeitsaussagen auf der Grundlage von pauschalen Gruppenmerkmalen getroffen. Was auf den ersten Blick objektiv wirkt, kann automatisch Vorurteile und Stereotype reproduzieren. Die Gefahren digitaler Diskriminierung dürfen wir auf keinen Fall unterschätzen“, so die Unabhängige Bundesbeauftragte für Antidiskriminierung, Ferda Ataman. Deshalb will sie nun den Schutz vor Diskriminierung durch Künstliche Intelligenz (KI) verbessern. Bisher sei unklar, was passiert, wenn eine Benachteiligung nicht von einem Menschen, sondern einem Algorithmus ausgeht, sagte Ataman.   

Ataman legte am Mittwoch das Rechtsgutachten "Automatisch benachteiligt –  Das Allgemeine Gleichbehandlungsgesetz und der Schutz vor Diskriminierung durch algorithmische Entscheidungssysteme" der Rechtswissenschaftler Prof. Dr. Indra Spiecker gen. Döhmann und Prof. Dr. Emanuel V. Towfigh vor. Die beiden kommen darin zum Ergebnis, dass das geltende AGG  den Herausforderungen, die sich aus dem Einsatz diskriminierender algorithmischer Entscheidungssysteme (ADM-Systeme) ergeben, nur bedingt gewachsen ist.  

Gutachter fordern Aufnahme eindeutiger Diskriminierungstatbestände ins AGG 

U.a. fehlten im Gesetz eindeutige Diskriminierungstatbestände, die auch ADM-Systemspezifische Diskriminierungen, insbesondere Gruppendiskriminierungen, erfassten. Außerdem müssten im AGG Auskunfts- und Offenlegungspflichten verankert werden, die den Einblick in die konkreten Funktionsweisen und Daten eines ADM-Systems ermöglichen. Defizitär sei auf europäischer Ebene auch die geplante Regulierung von KI. Im Entwurf der KI-Verordnung fehlten "klassische Regelungen effektiver Rechtsdurchsetzung" wie z.B. Regelungen der Beweislastumkehr sowie Kausalitätserleichterungen. 

Gestärkt werden muss nach Ansicht der Gutachter im AGG auch die aktuell von Ataman geleitete Antidiskriminierungsstelle des Bundes (ADS). Dieser müssten umfassende Auskunfts- und Untersuchungsrechte sowie ein eigenes Verbandsklagerecht eingeräumt werden. Außerdem müsse eine unabhängige Schlichtungsstelle bei der ADS eingerichtet werden. 

In ihrem Gutachten warnen die beiden Juristen zudem davor, die Gefahr einer Diskriminierung durch ADM-Systeme zu unterschätzen: "Der Einsatz solcher Systeme erfasst nahezu alle Bereiche des privaten und öffentlichen Lebens: Preisbildung, Zugang zu und Teilhabe an öffentlichen und privaten Leistungen, Marketing, Vertragsbedingungen, Diagnostik- und Therapieentscheidungen oder Verteilungsentscheidungen bei knappen Ressourcen." 

Ferda Ataman: "Hohe Dunkelziffer in Deutschland" 

Ataman verwies in einer Presseerklärung auf Beispiele aus den Niederlanden und den USA. So waren in den Niederlanden im Jahr 2019 zu Unrecht mehr als 20.000 Menschen unter hohen Strafandrohungen aufgefordert, Kindergeld zurückzuzahlen. Mitverantwortlich hierfür war ein diskriminierender Algorithmus in der Software, betroffen waren vor allem Menschen mit doppelter Staatsbürgerschaft.  

Die Affäre führte 2021 zum Rücktritt der Regierung. In den USA benachteiligten fehlerhaft programmierte Algorithmen bei Apple-Kreditkarten systematisch Frauen bei der Kreditvergabe, in Australien sollten nach einem Fehler eines KI-gestützten Entscheidungssystems hunderttausende Sozialhilfeempfänger:innen Geld zurückzahlen ("Robodebt"- Skandal). "Das Muster war dabei stets das gleiche: Für die Betroffenen war es kaum nachvollziehbar, wie die Entscheidungen zustande kamen. Und die Verursachenden – staatliche Stellen ebenso wie Unternehmen – verließen sich auch dann noch auf die automatisierten Entscheidungssysteme, als längst klar war, dass sie fehlerhaft waren", erklärte die Antidiskriminierungsbeauftragte. 

Auf die Frage von LTO, ob ihr auch Fälle in Deutschland bekannt sein, antwortete Ataman: "Algorithmische Entscheidungen spielen sich oft im Verborgenen ab, sie sind für die Betroffenen nicht sichtbar. Auch wenn wir noch keinen Fall von vergleichbarem Ausmaß wie etwa beim Kindergeld-Skandal in den Niederlanden hatten, gehe ich von einer hohen Dunkelziffer in Deutschland aus." 

BMJ: Kein konkreter Zeitplan bei AGG-Reform 

Ob es unterdessen im für das Thema AGG federführenden Ministerium von Bundesjustizminister Marco Buschmann (FDP) alsbald die Bereitschaft geben wird, die Vorschläge von der Antidiskriminierungsbeauftragten aufzugreifen, ist noch offen. Eine BMJ-Sprecherin erklärte gegenüber LTO, Atamans aktuelle Vorschläge seien mit dem BMJ nicht abgestimmt. Mit Erstaunen reagierte die Sprecherin zudem auf eine Aussage Atamans gegenüber LTO, das federführende BMJ habe angekündigt, "in den kommenden Wochen einen Referent*innenentwurf vorzulegen". Ein derart konkreter Zeitplan sei ihr nicht bekannt, so die BMJ-Sprecherin. 

Auf die Union als Unterstützerin ihrer Pläne wird Ataman indes nicht zählen können. Der rechtspolitische Sprecher der CDU/CSU-Fraktion im Bundestag, Dr. Günter Krings, erteilte dem Vorhaben gegenüber LTO eine Absage: "Wir haben in Deutschland ein starkes Antidiskriminierungsrecht, was natürlich auch KI-Sachverhalte erfasst. Solche Diskriminierungen nehmen wir ernst. Wo ein zusätzlicher Bedarf für weitere Regulierung bestehen sollte – verbunden mit weiterer Bürokratie – sehe ich nicht." Eine Benachteiligung durch ADM-Systeme, so der CDU-Politiker, werde im Übrigen bereits als mittelbare Diskriminierung erfasst. "Schließlich muss jede KI programmiert werden. Für die Programmierung gilt natürlich auch das Antidiskriminierungsrecht." 

Im Koalitionsvertrag vereinbart 

Grundsätzlich hat sich die Ampel in ihrem Koalitionsvertrag darauf verständigt, das AGG zu evaluieren, Schutzlücken zu schließen, den Rechtsschutz zu verbessern und den Anwendungsbereich auszuweiten. Von Änderungen explizit im Zusammenhang mit Gefahren, die durch KI drohen, ist dabei zwar nicht die Rede. Im Juli hatte Ataman dem Bundesjustizminister jedoch bereits in einem "Grundlagenpapier" Vorschläge für eine umfassende Reform des AGG unterbreitet. In Punkt vier der 19 angeregten Maßnahmen findet sich auch die Forderung, den Schutz vor Diskriminierung durch künstliche Intelligenz ins AGG aufnehmen.  

Ein BMJ-Sprecher hatte dazu seinerzeit erklärt, zu der Reform sei man noch in der "Prüfphase". Die Vorschläge der Bundesbeauftragten würden berücksichtigt.