Bild von einer Europakarte mit vielen Stecknadeln.
ASSY – Pixabay License, https://pixabay.com/de/service/license/

, Automating Society Report: Beim Einsatz algorithmischer Systeme in Europa fehlt es an Transparenz, Aufsicht und Kompetenzen

Für den Automating Society Report 2020 hat ein journalistisches Recherche-Netzwerk im Auftrag von AlgorithmWatch und uns über 100 Anwendungsfälle automatisierter Entscheidungsfindung in 16 europäischen Ländern untersucht. Der Report zeigt: Auch wenn die Systeme immer häufiger von der öffentlichen Verwaltung und privaten Unternehmen eingesetzt werden, fehlt es weiterhin an Transparenz, Aufsicht und Kompetenzen.

  • PDF

Der Einsatz automatisierter Entscheidungsfindung (automated decision-making, ADM) und KI-basierter Systeme hat seit Erscheinen des ersten Automating Society Reports Anfang 2019 stark zugenommen. Das haben Recherchen von über 40 Mitautor:innen ergeben, die in 16 europäischen Ländern nach Anwendungsfällen von ADM-Systemen gesucht haben. Der Report gibt auf fast 300 Seiten einen umfassenden Einblick in die digitalisierte Gesellschaft in Europa: Neben einem Kapitel zur Europäischen Union umfasst jedes der 16 Länderkapitel einen Katalog von relevanten ADM-Systemen, eine Erläuterung zur politischen Debatte und eine journalistische Aufarbeitung eines besonders interessanten Anwendungsfalls. Aus der Recherche haben sich auch konkrete Handlungsempfehlungen ergeben, die in einem einführenden Kapitel hergeleitet und erläutert werden.

Was sich durch den Automating Society Report 2020 zeigt: ADM-Systeme werden vermehrt sowohl von privaten Unternehmen wie auch öffentlichen Institutionen eingesetzt und beeinflussen so das Leben von Millionen von Menschen. Viel zu oft werden diese ohne eine breite gesellschaftliche Debatte eingeführt. Doch es zeigt sich auch, welche positiven Auswirkungen der Einsatz einiger ADM-Systeme auf das Leben Einzelner wie auch auf die Gesellschaft als Ganzes haben kann: So konnte der Einsatz eines algorithmischen Systems in Spanien dazu beitragen, das Risiko von Gewalt gegen Frauen besser einzuschätzen; ähnliches wird auch in den deutschen Städten Singen und Weimar mit dem System DyRiAS versucht. In Portugal konnte der Arzneimittelbetrug durch den Einsatz eines ADM Systems in einem Jahr um 80 Prozent gesenkt werden.

Entscheidend ist die Umsetzung

Ganz anders sieht es bei der Technologie der Gesichtserkennung aus: Seit dem ersten Automating Society Report Anfang 2019 hat der Einsatz dieser Technologie enorm zugenommen. Sie lässt sich in europäischen Schulen, Flughäfen, Casinos und Fußballstadien finden. Die Genauigkeit der Systeme ist jedoch oftmals zweifelhaft, das Risiko von Diskriminierung hoch und die Berechtigung für ihren Einsatz wurde teilweise erst im Nachhinein erteilt – so wie bei Polizeieinsätzen in Slowenien. Da die Gefahr der Massenüberwachung und der Einschränkung der Grundrechte bei dieser Technologie besonders hoch ist, fordern zivilgesellschaftliche Akteure aus verschiedenen Ländern ein grundsätzliches Verbot.

Doch nur in wenigen Anwendungsfällen geht es um die Frage des Ob. Vielmehr zeigen die Länderrecherchen, dass es vor allem entscheidend ist, wie ein ADM-System eingesetzt wird.

Wenn Systeme transparent gestaltet sind, es eine funktionierende Aufsicht gibt und die Bevölkerung die Kompetenzen hat, um informiert mit ADM-Systemen umzugehen, können sie positiv zu unserer Gesellschaft beitragen.
Sarah Fischer, Digitalexpertin der Bertelsmann Stiftung

Dies ist allerdings noch viel zu selten der Fall. Der Automating Society Report 2020 formuliert daher auch eindeutige und praktikable Handlungsempfehlungen für einen gemeinwohlorientierten Einsatz algorithmischer Systeme.

Nötig ist mehr Transparenz beim Einsatz von ADM-Systemen

Eine der Kernforderungen des Automating Society Reports 2020 ist eine größere Transparenz beim Einsatz algorithmischer Systeme. Nur wenn die allgemeine Öffentlichkeit über den Einsatz und die Funktionsweise der Technologie informiert wird, kann in gesellschaftlichen Foren über die zugrundeliegenden Werteabwägungen debattiert, Fehlentscheidungen aufgedeckt und Rechtsverletzungen angeprangert werden. Das Wissen um den Algorithmeneinsatz ist die notwendige Voraussetzung für jegliche konstruktive Art der Auseinandersetzung. Aus diesem Grund empfiehlt der Report die Einführung einer gesetzlichen Verpflichtung, alle von staatlichen Stellen eingesetzten ADM-Systeme in einem öffentlichen Register aufzuführen. Vorbild können hierbei die bereits eingeführten Register in Amsterdam und Helsinki sein.

Der Report zeigt, dass fehlende Transparenz aktuell bei öffentlichen und privaten Anwendungen in allen 16 Ländern ein Problem darstellt und häufig rechtliche Hürden bestehen. In Polen beispielsweise können Personen, die Informationen über ein algorithmisches System zur Erkennung von illegalen Bankaktivitäten offenlegen, mit bis zu fünf Jahren Gefängnis bestraft werden. In Spanien wiederum werden Qualitätskontrolle und Aufsicht über ADM-Systeme beim Einsatz in der öffentlichen Verwaltung gesetzlich gefordert. In der Praxis teilen die Behörden dennoch außerordentlich selten detaillierte Informationen über die automatisierten Systeme, die sie nutzen. Daran zeigt sich, dass Transparenz-Regeln nicht nur festgelegt, sondern auch durchgesetzt werden müssen.

Wirksame Aufsicht sicherstellen

Im Vergleich zu Anfang 2019 ist die Regulierung von automatisierten Systemen, speziell sogenannter "Künstlicher Intelligenz (KI)", weit oben auf die europäische Agenda gerückt. Die Europäische Kommission setzt sich für "vertrauenswürdige KI" ein, bei deren Einsatz die Menschen im Mittelpunkt stehen. Doch auch hier müssen die Einzelheiten in den Blick genommen werden: Aktuell wird der Diskurs hauptsächlich von Unternehmensinteressen und geopolitischen Überlegungen im Hinblick auf die Vereinigten Staaten und China bestimmt. Der Automating Society Report bemängelt daher einen fehlenden Mut in der Gestaltung des regulatorischen Rahmens auf EU-Ebene und fordert eine bessere rechtliche Grundlage und Umsetzung von Aufsichtsmechanismen über den ADM-Einsatz.

Die Länderrecherchen zeigen, dass es aktuell an wirksamer Kontrolle mangelt und machen deutlich, wie diese gestaltet werden muss: Das Vorgehen muss systematisch, unabhängig und dokumentiert durchgeführt werden, um zu objektiven Erkenntnissen zu kommen. Ein Rechtsrahmen, der Grundrechte sichert und die Bedürfnisse der Bevölkerung ins Zentrum stellt, kann nur entwickelt werden, wenn er in einem breiten Beteiligungsprozess, insbesondere auch mit Einbezug der Zivilgesellschaft erarbeitet wird.

Die informierte Zivilgesellschaft bildet das Fundament

In den Niederlanden haben Zivilrechtler:innen dafür gesorgt, dass ein undurchsichtiges ADM-System namens SyRI, das Betrug von Sozialleistungen aufdecken sollte, wegen Verstößen gegen die Grundrechte vom Gericht verboten wurde. Häufig sind es Wächter-Organisationen wie AlgorithmWatch, die überhaupt erst auf Rechtsverstöße aufmerksam machen und dabei unterstützen, die Öffentlichkeit zu den Risiken und Herausforderungen des Algorithmeneinsatzes zu sensibilisieren.

Wie sich unsere automatisierte Gesellschaft weiterentwickelt, hängt also auch stark von einer informierten Zivilgesellschaft ab, die ein Grundverständnis von ADM-Systemen hat und sich in der öffentlichen Debatte einbringen will. Der Automating Society Report 2020 soll dazu beitragen, die breite Gesellschaft über den ADM-Einsatz in Europa zu informieren und Ableitungen für politische Entscheider:innen auf EU und nationaler Ebene aufzuzeigen, welche Rahmenbedingungen für unsere digitalisierte Gesellschaft in dieser Zeit besonders wichtig sind.

Studie

Publikation: Automating Society Report 2020

Over 100 use cases of automated decision-making systems in 16 European countries have been compiled by a research network for the 2020 edition ...

Projekte

Ähnliche Artikel

iStock-875150592_MPL_be_ST-MT.jpg(© © Getty Images/iStockphoto/sarah5)

Report: Maschinen entscheiden bereits mit: Sind die EU-Staaten vorbereitet?

Bild Projektnachricht Zuschnitt_ Pixabay ASSY.jpg(© ASSY – Pixabay License, https://pixabay.com/de/service/license/)

Report: Automating Society Report 2020 – Aktuelle Entwicklungen zum Einsatz algorithmischer Systeme in 16 Ländern

iStock-1215988312_MPL_ST-MT.jpg(© © Getty Images/iStockphoto/imaginima)

Megatrend-Report: Die Corona-Transformation – Wie die Pandemie die Globalisierung bremst und die Digitalisierung beschleunigt

corona-warning-app-5336108.jpg(© iXimus / Pixabay - Pixabay License, https://pixabay.com/de/service/license/)

Report: Algorithmische Systeme in der Corona-Pandemie