Verbotene Praktiken unter dem AI Act: Wann ist Künst­liche Intel­li­genz zu gefähr­lich?

Dieser Beitrag ist Teil einer dreiteiligen Miniserie zum Inkrafttreten des Artificial Intelligence (AI) Act am 1. August 2024. Im ersten Beitrag haben wir den AI Act in seinen Grundzügen vorgestellt. Im Folgenden geht es nun um Praktiken aus dem KI-Bereich, die die EU-Verordnung grundsätzlich verhindern will.

Beim AI Act handelt es sich um ein spezielles Produktsicherheitsgesetz, das Betreiber und Hersteller von Systemen Künstlicher Intelligenz (KI) in verschiedene Risikokategorien einteilt. Für sie gelten je nach Risiko für die Nutzer unterschiedlich strenge Anforderungen. Diesem risikobasierten Ansatz folgend hat die EU bestimmte Praktiken aus dem KI-Bereich direkt als verbotene Praktiken eingestuft. 

Hierbei handelt es sich etwa um das Social Scoring – zuletzt prominent geworden durch Chinas Sozialkreditsystem –, um die Prognose, ob jemand straffällig wird, sowie um die Überwachung von Emotionen am Arbeitsplatz. 

Ein solches KI-System darf dann weder in den Verkehr gebracht noch in Betrieb genommen oder verwendet werden. Dem liegt die Einschätzung des EU-Gesetzgebers zugrunde, dass bestimmte KI-gestützte Techniken so schädlich für den einzelnen Menschen und damit auch gesamtgesellschaftlich unerwünscht sind, dass sie grundsätzlich unterbunden werden müssen.

Verbot von Manipulation, Täuschung & Social Scoring

Zu den verbotenen Praktiken gehört zum Beispiel der Einsatz von KI-Systemen, die absichtlich manipulative oder unterschwellig täuschende Techniken einsetzen, um eine Person zu einem selbst- oder fremdschädigenden Verhalten zu bewegen. Hierbei handelt es sich in der Theorie etwa um Stimulation über Audio-, Bild- oder Videodateien, die von Menschen nicht (aktiv) wahrgenommen werden, sie aber trotzdem zu gewissen Handlungen bewegen können. Ebenfalls untersagt sind KI-Systeme, die die Schwächen oder Schutzbedürftigkeit einer natürlichen Person aufgrund des Alters, einer Behinderung oder einer besonderen sozialen oder wirtschaftlichen Situation ausnutzen und dies dann zu einem Schaden führt.

Ausdrücklich verboten sind unter bestimmten Bedingungen zudem KI-Systeme zur Bewertung und Einstufung von Personen auf der Grundlage ihres sozialen Verhaltens oder bestimmter Persönlichkeitsmerkmale, wenn dies zu einer Schlechterstellung führt. Damit gemeint ist insbesondere das sogenannte Social Scoring, welches in den letzten Jahren besondere Aufmerksamkeit durch das chinesische Sozialkreditsystem erhalten hat. Hier sammelt der chinesische Staat Daten über seine Bürger aus deren Arbeits- und Privatleben, wertet sie aus und lässt sie in ein Punktekonto einfließen. Der Punktestand ist dabei an gewisse Vor- und Nachteile geknüpft: Bei wenig Punkten folgen Einschränkungen, wie etwa der Verlust von Kreditwürdigkeit. Bei einem hohen Score winken bevorzugte Behandlungen, etwa bei der Zulassung für Schulen, bei sozialen Leistungen oder beim Abschluss von Versicherungen.

Ein derartiges KI-System, das das Verhalten von Privatpersonen bewertet, ist verboten, soweit das Ergebnis dazu führt, dass bestimmte Personen benachteiligt werden, ohne dass diese Benachteiligung in einem Zusammenhang zur ursprünglichen Datenerhebung steht. So dürfen etwa Social-Media-Daten nicht zur Bewertung der Kreditwürdigkeit herangezogen werden. Es soll insgesamt gerade nicht möglich sein, als "Störfaktor" wahrgenommene Bürger, wie etwa regimekritische Blogger, mit Nachteilen zu überziehen. Das Verbot des Social Scoring dient somit dem primären Zweck, die Ausgrenzung bestimmter Personengruppen zu verhindern.

Strenge Vorgaben für Verbrechensprognosen und Profiling

Ein weiterer Bereich der verbotenen Praktiken im KI-Bereich betrifft die Prävention von Straftaten. Der AI Act soll unter anderem eine Zukunft verhindern, wie im Film "Minority Report" mit Tom Cruise aus dem Jahr 2002 zu sehen war. Dieser Film spielt in einer Zukunft, in der Verbrechen durch sogenannte "Precogs" vorhergesagt und verhindert werden.

Untersagt sind konkret KI-Systeme zur Durchführung der Prognose, dass eine Person eine Straftat begeht. Dieses Verbot gilt allerdings nur, wenn diese Risikobewertung ausschließlich auf der Grundlage des Profilings einer natürlichen Person oder der Bewertung der persönlichen Merkmale und Eigenschaften beruht. Der EU-Gesetzgeber hatte hier wohl das in den USA bereits verfügbare KI-System COMPAS im Hinterkopf, welches zur Bewertung des Rückfallrisikos straffälliger Personen von Gerichten eingesetzt wird. Dieses auch in den USA umstrittene System wird mit verschiedenen Parametern, wie etwa Alter und Geschlecht, aber auch die Anzahl von Verweisen aus der Schulzeit, gefüttert und prognostiziert dann die Wahrscheinlichkeit, dass der Angeklagte erneut eine Straftat begeht.

Ein wenig Unterstützung durch KI darf dennoch sein: Das Verbot gilt zum Beispiel nicht für KI-Systeme, die die menschliche Bewertung unterstützen, ob eine Person an einer kriminellen Tätigkeit beteiligt ist, wenn sich die Bewertung bereits auf objektive und überprüfbare Tatsachen stützt.

Immer schön lächeln, wenn der Chef sich meldet?

Der AI Act verbietet auch KI-Systeme, die Emotionen einer natürlichen Person am Arbeitsplatz und in Bildungseinrichtungen ableiten können. Der Arbeitgeber darf also beispielsweise nicht mit der Webcam überwachen, ob sich die Arbeitnehmer freuen oder ärgern, wenn eine E-Mail vom Chef eingeht.

Ausnahmen vom Verbot sieht der AI Act nur dann vor, wenn die Verwendung des KI-Systems aus medizinischen oder Sicherheitsgründen erfolgt. Denkbar wäre etwa ein KI-System, das medizinische Notfälle oder sonstige Gefahrensituationen erkennt.

Keine biometrische Echtzeit-Identifizierung und keine Kategorisierung

Ebenfalls unter bestimmten Bedingungen verboten sind KI-Systeme zur biometrischen Kategorisierung, mit denen natürliche Personen individuell auf der Grundlage ihrer biometrischen Daten in Schubladen eingeordnet werden. Biometrische Daten sind dabei – vereinfacht gesagt – jede Art von Informationen über die physischen Merkmale einer Person.

Der AI Act untersagt konkret eine solche Kategorisierung unter anderem bezogen auf die – im Wortlaut der Verordnung so bezeichnete – "Rasse", die politischen Einstellungen, die Gewerkschaftszugehörigkeit, religiöse oder weltanschauliche Überzeugungen, das Sexualleben und die sexuelle Ausrichtung. Derartige Kategorisierungen sind also grundsätzlich unzulässig. Eine Ausnahme gilt aber für die Kategorisierung biometrischer Daten im Bereich der Strafverfolgung.

Neben der biometrischen Kategorisierung regelt der AI Act auch die biometrische Identifizierung. Darunter versteht man die Identifizierung einer Person anhand ihrer individuellen, biologischen oder verhaltensbasierten Merkmale. Zu diesen Merkmalen zählen das Gesicht sowie Körperform, Stimme, Gang oder Haltung. Liegen entsprechende Datensätze vor, können bestimmte KI-Systeme theoretisch die jeweilige Person durch eine Auswertung von Überwachungskameras finden. Für Ermittler wäre dies eine große Erleichterung, für viele andere, insbesondere von den Maßnahmen Betroffene, ein Schreckensszenario.

Der AI Act hat nun versucht, hier einen Kompromiss zu finden. Grundsätzlich dürfen auch zur Verfolgung von Straftaten in öffentlich zugänglichen Räumen keine Fernidentifizierungssysteme in Echtzeit verwendet werden. Aber es gibt auch Ausnahmen. Sofern ein biometrisches Echtzeit-Fernidentifikationssystem unbedingt erforderlich ist, um beispielsweise gezielt nach bestimmten Opfern von Entführungen oder von Menschenhandel zu suchen, dann ist dies erlaubt. Ebenfalls ausgenommen vom Verbot ist der Einsatz solcher Systeme unter anderem zum Abwenden einer unmittelbaren Lebensgefahr oder bei der Gefahr eines Terroranschlags. Schließlich darf eine biometrische Echtzeit-Fernidentifizierung unter bestimmten Voraussetzungen sogar zum Aufspüren oder Identifizieren von Tatverdächtigen eingesetzt werden.

KI-Modelle mit allgemeinem Verwendungszweck

Inmitten des Gesetzgebungsverfahrens zum AI Act erkannte die EU zudem eine zentrale Schwäche des risikobasierten Ansatzes: Er passt schlicht nicht auf die KI-Modelle mit allgemeinem Verwendungszweck (General Purpose AI – GPAI). GPAI-Modelle dienen oft als Grundlage für anwendungsspezifische KI-Systeme (bestehend aus KI-Modell und entsprechender Soft- und Hardware für den spezifischen Einsatzzweck, etwa im Rahmen der Medizintechnik). Beispiele für solche GPAI-Modelle sind etwa GPT 4 von OpenAI oder Claude 3 Opus von Anthropic. 

Der risikobasierte Ansatz des AI Act richtete sich jedoch allein an KI-Systeme mit einem spezifischen Einsatzzweck. GPAI-Modelle, die als Grundlage für spezifische KI-Systeme dienen, wären damit nicht vom AI Act erfasst gewesen. Das wäre nicht zuletzt besonders nachteilig für Anbieter von spezifischen KI-Systemen in Hochrisiko-Bereichen gewesen und hätte den Regulierungsansatz AI insgesamt in Frage gestellt. Denn Anbieter von Hochrisiko-Systemen, die auf GPAI-Modellen aufsetzen, sind zu einem gewissen Grad von den GPAI-Modell-Anbietern abhängig. Enthalten Anbieter von spezifischen Hochrisiko-Systemen von den GPAI-Modell-Anbietern ihrerseits keine Informationen und Dokumentationen über das jeweilige Grundlagenmodell, können sie ihren eigenen Pflichten nach dem AI Act, zum Beispiel ihren Transparenzpflichten, nicht entsprechen.

Die Regulierung von GPAI-Modellen ist also vom Gedanken einer KI-Wertschöpfungskette geprägt: GPAI-Modelle werden als erstes Glied oder auch Grundlage dieser Wertschöpfungskette berücksichtigt. Ihre Anbieter treffen umfassende Dokumentations- und Informationspflichten. 

Aufgrund dieses Grundlagencharakters und der enormen Fähigkeiten von einigen GPAI-Modellen erkennt der EU-Gesetzgeber bei besonders leistungsfähigen Modellen zudem ein systemisches Risiko: je leistungsstärker das Modell, desto schwerwiegender die potenziellen negativen Konsequenzen seiner Anwendung. So befürchtet die EU, dass auf der Grundlage besonders leistungsstarker GPAI-Modelle besonders effizient “Fakenews” geschaffen und verbreitet oder neue chemische Waffen kreiert werden könnten. Besonders leistungsfähige GPAI-Modelle unterliegen daher zusätzlichen gesonderten Anforderungen, um etwaigen Risiken, die von ihnen ausgehen könnten, entgegenzuwirken. Zum Beispiel sieht der AI Act die Pflicht vor, einschlägige Informationen über schwerwiegende Vorfälle und mögliche Abhilfemaßnahmen zu erfassen, zu dokumentieren und das neu durch den AI Act geschaffene KI-Büro hierüber zu unterrichten.

Im dritten Beitrag folgt eine Übersicht zu den Regelungen für KI-Systeme mit spezifischem Verwendungszweck, insbesondere Hochrisiko-Systeme, zu relevanten Akteuren, die den AI Act durchsetzen werden, zum Sanktionsmechanismus und vor allem zu den Problemen und noch offenen Fragen. Dieser dritte und letzte Beitrag wird in den nächsten Tagen erscheinen.

Die Autoren arbeiten als Rechtsanwälte bei Hogan Lovells International LLP in der Praxisgruppe Intellectual Property, Media & Technology in Hamburg.