Strategie gegen übermächtige Digitalkonzerne: Schützt uns die EU vor einer düs­teren Zukunft wie im Roman "Every"?

Er lügt! – erkennt eine App an der Mimik eines Mannes, als dieser seiner Freundin sagt, wie schön doch ihre neue Haarfrisur sei. Auch sein ökologischer Fußabdruck ist durch den Burger am Mittag inakzeptabel groß geworden, vermeldet eine andere App. In seiner Fortsetzung des Bestsellers "Der Circle" beschreibt Dave Eggers eine derartige dystopische Zukunft, in der es einem Unternehmen gelungen ist, unser tägliches Leben tief zu durchdringen.

In dem Roman ist das Unternehmen "Every" die größte Suchmaschine, die Social-Media-Plattform mit den meisten Nutzern und das erfolgreichste E-Commerce Unternehmen zugleich. Mithilfe zahlreicher Wearables und Apps beeinflusst das fiktive Superunternehmen in heute unvorstellbarem Umfang das Privatleben der Menschen. Aber ist diese umfassende Kontrolle tatsächlich Science-Fiktion ohne Realitätsbezug? Bis vor wenigen Jahren waren für uns die heutigen Möglichkeiten der großen Digitalkonzerne ebenfalls undenkbar. 

Der Preis der Selbstoptimierung 

In der Welt des Romans bewerten Algorithmen jeden Aspekt des Lebens. Wer von der Norm abweicht, der wird mit Punktabzügen auf der Sozialskala bestraft. Die ständige Sozialkontrolle des gläsernen Menschen beeinflusst auch die Sprache: Anstößige Ausdrücke werden aus dem Sprachgebrauch getilgt. Kameras überwachen den öffentlichen Raum und schneiden Gespräche mit. Die Überwachung findet durch digitale Dienste statt, die den Nutzern Vorteile versprechen. Bemerkenswert ist, dass keine zentral gesteuerte Instanz den Menschen die Überwachung aufzwingt, sondern sie selbst jedem neuen Dienst zum Erfolg zu verhelfen – sei er auch noch so absurd. Der Höhepunkt der datengestützten Entmenschlichung sind Anwendungen, die zutiefst subjektive Eigenschaften und Beziehungen quantifizieren. Zunächst wird bloß die Schönheit von Kunstwerken mit Zahlen bewertet, dann auch das Aussehen von Menschen und die Qualität familiärer und freundschaftlicher Beziehungen. 

Der Ansatz der EU: Schutz durch umfassende Regulierung

Vor vergleichbaren Eingriffen in private Lebensbereiche möchte die Europäische Union ihre Bürger schützen. Die Regulierungswelle begann 2018 mit der Datenschutzgrundverordnung (DSGVO) und ist bis heute ungebrochen: Der Data Governance Act ist ab dem 24. September 2023 anwendbar, die KI-Verordnung befindet sich derzeit noch im Gesetzgebungsverfahren. Wegen des Marktortprinzips müssen sich auch ausländische Diensteanbieter an die Regeln halten. Das fiktive, amerikanische Unternehmen "Every" müsste sich also an die EU-Regeln halten, wenn es seine Dienste auch in der Union anbietet. 

Neben dem Schutz des Privatlebens möchte die EU einen funktionierenden Wettbewerb zwischen den Unternehmen aufrechterhalten. Hierfür setzt sie im Rahmen ihrer Digitalstrategie auf eine Kombination von Rechtsakten, die einen ausbalancierten europäischen Binnenmarkt für Daten schaffen sollen. Es geht um ein Gleichgewicht zwischen dem Schutz personenbezogener Daten einerseits und dem Zugang zu hochwertigen industriellen Daten andererseits. 

Macht über die eigenen Daten – Die Datenschutzgrundverordnung (DSGVO)

Lässt sich bei Informationen ein Personenbezug herstellen, so ist immer das Datenschutzrecht, vor allem die Datenschutzgrundverordnung (DSGVO), zu beachten. Die Verordnung gewährt natürlichen Personen Kontrolle und Transparenz bei der Verarbeitung der sich auf sie beziehenden Daten. Die Kontrolle darüber, wer welche Daten verarbeiten darf, soll stets bei der betroffenen Person liegen. Als Grundsatz sieht die DSGVO daher folgerichtig ein Verbot der Datenverarbeitung vor. Ausnahmen bieten ein Katalog an Rechtfertigungsmöglichkeiten.

In der Welt von "Every" gibt es verpflichtende, öffentlich einsehbare Register für Infektionskrankheiten – ein Paradebeispiel für einen Verstoß gegen die DSGVO. Denn die Menschen im Roman können nicht mehr frei darüber entscheiden, wer Zugriff auf die sie betreffenden Daten hat. Der Grundsatz der informationellen Selbstbestimmung würde erheblich verletzt, zumal es sich bei Gesundheitsdaten um eine besonders streng geschützte Kategorie personenbezogener Daten handelt. 
Nach diesem Beispiel erscheint die Weitergabe von Daten der Selbstoptimierungsapp "HelpMe" an Werbetreibende im Buch als vergleichsweise harmlos. In der Tat unterscheidet sich dieses Vorgehen nur in Nuancen von der heute gängigen Praxis personalisierter Werbung. Als datenschutzrechtliche Rechtsgrundlage ist dafür eine freiwillige Einwilligung des Betroffenen erforderlich– einem Umgehungsversuch Metas hat der EuGH (Entsch. v. 04.07.2023) erst kürzlich eine Absage erteilt: Meta hatte versucht sich dem Einwilligungserfordernis zu entziehen, indem das Anbieten personalisierter Werbung als vertragliche Leistung in die AGB aufgenommen wurde. Die Datenverarbeitung konnte damit nach Ansicht des Unternehmens als erforderlich für die Erfüllung vertraglicher Verpflichtungen angesehen werden. 

Ob die Romanfiguren wirksame Einwilligungen in die Datenverarbeitungen der unterschiedlichen "Every"-Dienste erteilt hätten, darf bezweifelt werden. Einwilligungen müssen nämlich nicht nur freiwillig, sondern auch informiert und zweckgebunden erteilt werden. Neben dem Konflikt mit europäischen Datenschutzgesetzen wären für "Every" als große Online-Plattform und Suchmaschine auch die Regelungen des Digital Services Act problematisch. 

Höhere Verantwortung großer Anbieter – Der Digital Services Act (DSA)

Veröffentlichte Inhalte niemals zu löschen ist ein wichtiger Grundsatz innerhalb "Everys"  Unternehmenspolitik. Es liegt auf der Hand, dass damit auch die Veröffentlichung problematischer Inhalte einhergeht. Die Verbreitung von Falschnachrichten und in Echtzeit gestreamte Gewalttaten sind nur zwei der unzähligen Beispiele.

Die Anforderungen des Digital Services Act (DSA) würden deshalb eine tiefgreifende Änderung wesentlicher Vorgehensweisen des "Every"-Unternehmens erfordern. Der DSA soll die systemischen Risiken insbesondere von „sehr großen Online-Plattformen“ vermindern und einen digitalen Raum schaffen, indem sowohl die Grundrechte der EU-Bürger umfassend geschützt sind, als auch faire Wettbewerbsbedingungen für alle Marktteilnehmer bestehen. 

Schon heute erfolgt die öffentliche Meinungsbildung zu einem großen Teil in den sozialen Netzwerken. Daraus folgen viele Probleme, beispielsweise die Verbreitung von Hassrede und gewaltvollen Inhalten. Der DSA sieht deshalb vor, dass Unternehmen Mechanismen zum Umgang mit problematischen Social-Media-Inhalten einrichten müssen. Eine aus einem falschen Transparenzverständnis resultierende Politik des "niemals etwas löschen", wie sie "Every" verfolgt, wäre damit nicht zulässig.

Kleinere Unternehmen sind privilegiert und müssen nur tätig werden, wenn sie konkrete Kenntnis von rechtswidrigem Content erhalten. Für Unternehmen einer bestimmten Größe – die Schwellenwerte hinsichtlich des Umsatzes oder der Nutzerzahlen dürfte „Every“ mit Leichtigkeit überschreiten – gelten zudem verschärfte Vorgaben hinsichtlich Empfehlungssystemen, Online-Werbung und Profiling. Profiling ist jede Art der automatisierten Verarbeitung personenbezogener Daten, mit dem Zweck persönliche Aspekte wie wirtschaftliche Lage, Gesundheit oder ähnliches zu analysieren und so ein umfassendes Gesamtbild zu erstellen. 

Minderjährige unterstellt der DSA, ebenso wie die DSGVO, einem erhöhten Schutz. So ist beispielsweise auf Profiling basierende Werbung bei Minderjährigen generell unzulässig. Weil die Unternehmen aber nicht verpflichtet sind, das Alter der Nutzer zu prüfen, ist die Effektivität dieser Regelung abzuwarten. Vergleichbare Schutzmaßnahmen kennt "Every" jedoch nicht mal in der Theorie. Im Ergebnis werden im Roman Kinder "aus erzieherischen Gründen" schon für kleinste Fehlverhalten öffentlich getadelt.

Offene Märkte und mehr Wettbewerb – Der Digital Markets Act (DMA)

"Everys" Dienste zur Freundschafts- und Wahrheitsanalyse sind sehr exakt, weil sie auf Daten aus mehreren digitalen Anwendungen zurückgreifen und somit Daten aus den verschiedensten Lebensbereichen der geprüften Personen analysieren können. Diese Datenweitergabe zwischen verschiedenen digitalen Angeboten innerhalb eines mächtigen Gatekeeper-Unternehmens soll durch den Digital Markets Act (DMA) eingedämmt werden, indem hierfür eine Einwilligung der Nutzer vorausgesetzt wird. Einer solchen bedürfen "Gatekeeper" ebenfalls, um personalisierte Werbung schalten zu dürfen. Davon, dass dies geschehen ist, ist nicht auszugehen– von freiwilligen Einwilligungen im Sinne der DSGVO könnte wohl ohnehin nicht gesprochen werden. 

Die Adressaten des DMA sind die sogenannten "Gatekeeper", die zentrale Plattformdienste erbringen. Zentrale Plattformdienste sind solche Dienste, die als wichtiger Zugang zu Nutzern dienen, beispielsweise Suchmaschinen oder Online-Marktplätze. Die Regelungen des DMA sind nur indirekt zum Schutz der Verbraucher bestimmt, sondern sollen primär einen funktionierenden Wettbewerb ermöglichen. Bedingt durch Netzwerkeffekte besteht nämlich die Tendenz der Nutzerkonzentration auf einzelnen marktmächtigen Plattformen. Damit ist gemeint, dass zum Beispiel Social-Media-Plattformen umso attraktiver für Nutzer sind, desto mehr Nutzer sie bereits haben. Zur Beschränkung dieser Machtkonzentration setzt der DMA auf kartellrechtsähnliche Mechanismen. Hierfür sind, neben den oben genannten, über 20 weitere Verhaltenspflichten für die als Gatekeeper benannten Unternehmen vorgesehen. Für Wettbewerber der Gatekeeper bietet sich damit auf lange Sicht die Möglichkeit, einen besseren Marktzugang zu erhalten. Für Verbraucher wird sich dies durch bessere Wechselmöglichkeiten und eine größere Auswahl an Plattformdiensten auswirken. 

Verbesserte Nutzung öffentlicher Daten – Der Data Governance Act (DGA)

"Every" agiert auf einem Markt ohne nennenswerte Konkurrenz. Nutzer haben somit keine andere Wahl, als auf die Dienste "Everys" zurückzugreifen. Angesichts der daraus resultierenden Machtkonzentration sind auch die Behörden und Politiker zur Verbrechensaufklärung oder im Wahlkampf darauf angewiesen mit dem Unternehmen zusammen zu arbeiten. Auf den ersten Blick spielt der Data Governance Act (DGA) im Fall einer riesigen Datenkrake wie "Every" deshalb keine Rolle, denn der DGA soll primär dafür sorgen, dass Daten öffentlicher Stellen besser zugänglich gemacht werden. 

Dennoch hätte der DGA auch im Kampf gegen die Datenkrake "Every" eine wichtige Funktion: Der Datenzugang marktmächtiger Unternehmen soll durch den DGA nämlich gerade nicht gefördert werden. Indem der Staat aber kleine Unternehmen mit großen Mengen hochwertiger Daten versorgt, werden die Markteintrittsbarrieren für neue Unternehmen gesenkt. Auf diese Weise wird der Wettbewerb offener; Unternehmen wie "Every" bekommen plötzlich Konkurrenz. Zum anderen sollen in zukünftigen Krisen, wie beispielsweise einer Pandemie, durch eine höhere Datenverfügbarkeit bessere Entscheidungen getroffen werden können. 

Neue Regeln für neue Technologie – Die Verordnung über Künstliche Intelligenz (KI-VO)

Am Ende eines jeden Quartals entlässt "Every" 10% der Belegschaft einer Abteilung, die nach einer Auswertung der persönlichen Performance durch eine KI-Anwendung ausgesucht werden. Mit diesem Vorgehen hat "Every" ein rigoroses Mittel geschaffen, um das Verhalten der Mitarbeitenden zu kontrollieren. Zulässig wäre das bei Geltung der aktuell geplanten Verordnung über Künstliche Intelligenz (KI-VO) aber wohl nicht. KI im weitesten Sinne ist die Fähigkeit einer Maschine, menschliche Fähigkeiten wie logisches Denken, Lernen, Planen und Kreativität zu simulieren.

Das Gesetz über künstliche Intelligenz, mit dem solche Anwendungen reguliert werden sollen, befindet sich aktuell im Gesetzgebungsverfahren der EU. Danach dürfen Entscheidungen mit Auswirkungen auf existenzielle menschliche Lebensbereiche nicht ausschließlich durch KI-Systeme getroffen werden. Außerdem sieht die KI-VO generelle Verbote für bestimmte KI-Anwendungen vor. So sollen Verfahren der biometrischen Fernidentifizierung (insb. Gesichtserkennung), soziales Scoring aufgrund bestimmter persönlicher Merkmale und die Verhaltensmanipulierung besonders gefährdeter Gruppen durch KI untersagt sein. Darüber hinaus sind Transparenzpflichten vorgesehen.

Der Umfang dieser und weiterer Pflichten orientiert sich an der Risikoeinstufung des KI-Systems, wobei sogenannte Hochrisiko-KI-Systeme die am stärksten regulierte Kategorie darstellen. Darunter fallen Systeme, die beispielsweise in den Bereichen der Strafverfolgung, des Personalmanagements oder als Sicherheitskomponente eingesetzt werden. Sowohl das Anbieten, als auch die Anwendung solcher Systeme unterliegen weitreichenden Vorschriften unter anderem in Bezug auf die Datenqualität und technische Dokumentation der Systeme.

Gelingt die Eindämmung der Macht?

Die beschriebenen Online-Dienste von „Every“ sind (zum Glück) noch keine Realität, wenngleich die dafür notwendige Technologie heute schon verfügbar ist. Ob die Digitalrechtsakte der EU ihre Wirkung erfolgreich entfalten werden, bleibt abzuwarten. Praktische Schwierigkeiten bei der Anwendung werfen die derzeit vielfach noch ungeklärten Konkurrenzen der Rechtsakte untereinander auf. Doch gerade in ihrem Zusammenspiel können sie dazu führen, einen faireren Wettbewerb zu ermöglichen und umfangreichen Grundrechtsschutz der Unionsbürger zu gewährleisten. Die düstere Zukunft der totalen Kontrolle durch einen Konzern könnte eine Roman-Dystopie bleiben – zumindest in der EU stehen die Zeichen dafür gut.

Der Autor Jason Tenta arbeitet als wissenschaftlicher Mitarbeiter am Lehrstuhl für Bürgerliches Recht und Recht des Geistigen Eigentums an der Universität Osnabrück. Im Rahmen seiner Tätigkeit beschäftigt er sich schwerpunktmäßig mit dem Datenrecht.