Beim Einsatz algorithmischer Systeme in Europa fehlt es an Transparenz, Aufsicht und Kompetenzen

Der Einsatz automatisierter Entscheidungsfindung (automated decision-making, ADM) und KI-basierter Systeme hat seit Erscheinen des ersten Automating Society Reports Anfang 2019 stark zugenommen. Das haben Recherchen von über 40 Mitautor:innen ergeben, die in 16 europäischen Ländern nach Anwendungsfällen von ADM-Systemen gesucht haben. Der Report gibt auf fast 300 Seiten einen umfassenden Einblick in die digitalisierte Gesellschaft in Europa: Neben einem Kapitel zur Europäischen Union umfasst jedes der 16 Länderkapitel einen Katalog von relevanten ADM-Systemen, eine Erläuterung zur politischen Debatte und eine journalistische Aufarbeitung eines besonders interessanten Anwendungsfalls. Aus der Recherche haben sich auch konkrete Handlungsempfehlungen ergeben, die in einem einführenden Kapitel hergeleitet und erläutert werden.

Was sich durch den Automating Society Report 2020 zeigt: ADM-Systeme werden vermehrt sowohl von privaten Unternehmen wie auch öffentlichen Institutionen eingesetzt und beeinflussen so das Leben von Millionen von Menschen. Viel zu oft werden diese ohne eine breite gesellschaftliche Debatte eingeführt. Doch es zeigt sich auch, welche positiven Auswirkungen der Einsatz einiger ADM-Systeme auf das Leben Einzelner wie auch auf die Gesellschaft als Ganzes haben kann: So konnte der Einsatz eines algorithmischen Systems in Spanien dazu beitragen, das Risiko von Gewalt gegen Frauen besser einzuschätzen; ähnliches wird auch in den deutschen Städten Singen und Weimar mit dem System DyRiAS versucht. In Portugal konnte der Arzneimittelbetrug durch den Einsatz eines ADM Systems in einem Jahr um 80 Prozent gesenkt werden.

Ganz anders sieht es bei der Technologie der Gesichtserkennung aus: Seit dem ersten Automating Society Report Anfang 2019 hat der Einsatz dieser Technologie enorm zugenommen. Sie lässt sich in europäischen Schulen, Flughäfen, Casinos und Fußballstadien finden. Die Genauigkeit der Systeme ist jedoch oftmals zweifelhaft, das Risiko von Diskriminierung hoch und die Berechtigung für ihren Einsatz wurde teilweise erst im Nachhinein erteilt – so wie bei Polizeieinsätzen in Slowenien. Da die Gefahr der Massenüberwachung und der Einschränkung der Grundrechte bei dieser Technologie besonders hoch ist, fordern zivilgesellschaftliche Akteure aus verschiedenen Ländern ein grundsätzliches Verbot.

Doch nur in wenigen Anwendungsfällen geht es um die Frage des Ob. Vielmehr zeigen die Länderrecherchen, dass es vor allem entscheidend ist, wie ein ADM-System eingesetzt wird.

Dies ist allerdings noch viel zu selten der Fall. Der Automating Society Report 2020 formuliert daher auch eindeutige und praktikable Handlungsempfehlungen für einen gemeinwohlorientierten Einsatz algorithmischer Systeme.

Eine der Kernforderungen des Automating Society Reports 2020 ist eine größere Transparenz beim Einsatz algorithmischer Systeme. Nur wenn die allgemeine Öffentlichkeit über den Einsatz und die Funktionsweise der Technologie informiert wird, kann in gesellschaftlichen Foren über die zugrundeliegenden Werteabwägungen debattiert, Fehlentscheidungen aufgedeckt und Rechtsverletzungen angeprangert werden. Das Wissen um den Algorithmeneinsatz ist die notwendige Voraussetzung für jegliche konstruktive Art der Auseinandersetzung. Aus diesem Grund empfiehlt der Report die Einführung einer gesetzlichen Verpflichtung, alle von staatlichen Stellen eingesetzten ADM-Systeme in einem öffentlichen Register aufzuführen. Vorbild können hierbei die bereits eingeführten Register in Amsterdam und Helsinki sein.

Der Report zeigt, dass fehlende Transparenz aktuell bei öffentlichen und privaten Anwendungen in allen 16 Ländern ein Problem darstellt und häufig rechtliche Hürden bestehen. In Polen beispielsweise können Personen, die Informationen über ein algorithmisches System zur Erkennung von illegalen Bankaktivitäten offenlegen, mit bis zu fünf Jahren Gefängnis bestraft werden. In Spanien wiederum werden Qualitätskontrolle und Aufsicht über ADM-Systeme beim Einsatz in der öffentlichen Verwaltung gesetzlich gefordert. In der Praxis teilen die Behörden dennoch außerordentlich selten detaillierte Informationen über die automatisierten Systeme, die sie nutzen. Daran zeigt sich, dass Transparenz-Regeln nicht nur festgelegt, sondern auch durchgesetzt werden müssen.

Im Vergleich zu Anfang 2019 ist die Regulierung von automatisierten Systemen, speziell sogenannter "Künstlicher Intelligenz (KI)", weit oben auf die europäische Agenda gerückt. Die Europäische Kommission setzt sich für "vertrauenswürdige KI" ein, bei deren Einsatz die Menschen im Mittelpunkt stehen. Doch auch hier müssen die Einzelheiten in den Blick genommen werden: Aktuell wird der Diskurs hauptsächlich von Unternehmensinteressen und geopolitischen Überlegungen im Hinblick auf die Vereinigten Staaten und China bestimmt. Der Automating Society Report bemängelt daher einen fehlenden Mut in der Gestaltung des regulatorischen Rahmens auf EU-Ebene und fordert eine bessere rechtliche Grundlage und Umsetzung von Aufsichtsmechanismen über den ADM-Einsatz.

Die Länderrecherchen zeigen, dass es aktuell an wirksamer Kontrolle mangelt und machen deutlich, wie diese gestaltet werden muss: Das Vorgehen muss systematisch, unabhängig und dokumentiert durchgeführt werden, um zu objektiven Erkenntnissen zu kommen. Ein Rechtsrahmen, der Grundrechte sichert und die Bedürfnisse der Bevölkerung ins Zentrum stellt, kann nur entwickelt werden, wenn er in einem breiten Beteiligungsprozess, insbesondere auch mit Einbezug der Zivilgesellschaft erarbeitet wird.

In den Niederlanden haben Zivilrechtler:innen dafür gesorgt, dass ein undurchsichtiges ADM-System namens SyRI, das Betrug von Sozialleistungen aufdecken sollte, wegen Verstößen gegen die Grundrechte vom Gericht verboten wurde. Häufig sind es Wächter-Organisationen wie AlgorithmWatch, die überhaupt erst auf Rechtsverstöße aufmerksam machen und dabei unterstützen, die Öffentlichkeit zu den Risiken und Herausforderungen des Algorithmeneinsatzes zu sensibilisieren.

Wie sich unsere automatisierte Gesellschaft weiterentwickelt, hängt also auch stark von einer informierten Zivilgesellschaft ab, die ein Grundverständnis von ADM-Systemen hat und sich in der öffentlichen Debatte einbringen will. Der Automating Society Report 2020 soll dazu beitragen, die breite Gesellschaft über den ADM-Einsatz in Europa zu informieren und Ableitungen für politische Entscheider:innen auf EU und nationaler Ebene aufzuzeigen, welche Rahmenbedingungen für unsere digitalisierte Gesellschaft in dieser Zeit besonders wichtig sind.

Die länderspezifischen Berichte können Sie auch in der Landessprache separat abrufen. Sie sind ein übersetzter Auszug des Automating Society Reports 2020:

• Italien
• Schweiz
• Frankreich
• Spanien