|
„Erlesenes“ ist ein zweiwöchentlicher Newsletter von reframe[Tech] - Algorithmen fürs Gemeinwohl und bietet eine kuratierte Auswahl an wissenschaftlichen Studien, journalistischen Artikeln und Debattenbeiträgen sowie Fundstücken mit Augenzwinkern aus sozialen Medien zum Themenkomplex Algorithmen und KI. Mit „Erlesenes“ wollen wir den Diskurs rund um algorithmische Entscheidungssysteme und ihre Chancen sowie Risiken für das Gemeinwohl einordnen, wir möchten den Blick über den Tellerrand wagen und Perspektiven fernab des dominierenden Diskurses aufgreifen. So wollen wir die Abonnent:innen in dem sich rasch verändernden Themenfeld up-to-date halten. Jede Ausgabe finden Sie auch auf unserem Blog.
Hier geht's zum Blog!
|
|
|
|
|
|
|
|
|
Liebe Leser:innen,
stellen Sie sich vor, Sie sind auf staatliche Unterstützung angewiesen – doch ein algorithmisches System stuft Sie fälschlicherweise als Betrüger:in ein. Genau das ist in Schweden passiert: Frauen, Migrant:innen, Geringverdienende und Menschen ohne Hochschulbildung waren besonders oft betroffen. Ein KI-System der Sozialversicherungsbehörde benachteiligte diese Gruppen unverhältnismäßig und zeigt wieder einmal, wie algorithmische Entscheidungen im Verborgenen diskriminieren können. In dieser Erlesenes-Ausgabe werfen wir einen genaueren Blick auf diesen Fall, aufgedeckt durch die Investigativjournalist:innen von Lighthouse Reports – eine Organisation, die immer wieder versteckte Diskriminierung durch KI-Systeme in Europa offen legt.
Doch nicht nur das: Ein weiterer Artikel thematisiert die geschlossenen Machtstrukturen hinter vermeintlich offenen KI-Systemen. Außerdem: ChatGPT an argentinischen Gerichten – Urteilsbeschleunigung oder Rechtsrisiko?
Mit dieser Ausgabe verabschiedet sich Erlesenes in die Weihnachtspause. Wir danken Ihnen für Ihre treue Leserschaft und wünschen Ihnen eine schöne Weihnachtszeit sowie einen guten Start ins neue Jahr! Am 16. Januar melden wir uns mit einer neuen Ausgabe zurück und freuen uns, Sie weiter mit Neuigkeiten rund um KI versorgen zu dürfen.
Viel Spaß beim Lesen wünschen
Elena und Teresa
Ihnen wurde dieser Newsletter weitergeleitet? Hier geht es zum Abo: www.reframetech.de/newsletter/
Die Meinungen in den Beiträgen spiegeln nicht zwangsläufig die Positionen der Bertelsmann Stiftung wider. Wir hoffen jedoch, dass sie zum Nachdenken anregen und zum Diskurs beitragen. Wir freuen uns immer über Feedback – der Newsletter lebt auch von Ihrer Rückmeldung und Ihrem Input. Melden Sie sich per E-Mail an teresa.staiger@bertelsmann-stiftung.de oder bei LinkedIn unter @reframe[Tech] – Algorithmen fürs Gemeinwohl.
|
|
|
|
|
Urteilsbeschleuniger oder Rechtsrisiko?
Courts in Buenos Aires are using ChatGPT to draft rulings, Rest of World, 22.11.2024
„Geht das nicht schneller mit KI?“, diese Frage stellen sich mittlerweile viele in ihrem Arbeitsalltag. Wie KI bereits die Arbeit verändern kann, zeigen wir heute an einem Beispiel aus Buenos Aires. Nach jahrelanger Entwicklung des hauseigenen KI-Systems PROMETEA hat die Staatsanwaltschaft nun auf ChatGPT umgestellt, um Gerichtsurteile zu beschleunigen. Die Bearbeitungszeit für ein Urteil wurde damit von einer Stunde auf nur zehn Minuten reduziert. Alle KI-generierten Urteile werden anschließend von Anwält:innen geprüft und vom stellvertretenden Staatsanwalt genehmigt. Juan Corvalán, stellvertretender Staatsanwalt, drückt es so aus: „Wir sind nicht mehr die Hauptakteure, sondern die Redakteure“. Mit zunehmender Effizienz wachsen jedoch auch die Bedenken in Bezug auf Datenschutz, mögliche Verzerrungen und KI-Halluzinationen; Expert:innen befürchten etwa, dass es zu Benachteiligungen unterrepräsentierter Gruppen führen könnte. Eine Studie aus Stanford beziffert die Fehlerquote bei juristischen KI-Anwendungen auf bis zu 17 Prozent. Sofia Tammaro vom Projektteam sieht darin dennoch einen Schritt zur Demokratisierung generativer KI. Die zentrale Frage bleibt: Unterstützen KI-Systeme die Justiz oder gefährdet ihr Einsatz rechtsstaatliche Prinzipien?
Hier geht’s zum Artikel!
|
Markiert und benachteiligt
Sweden’s Suspicion Machine, Lighthouse Reports, 27.11.2024
Lighthouse Reports hat bereits in der Vergangenheit den Einsatz von KI-Systemen in Sozialbehörden investigativ analysiert und so Diskriminierungen aufdecken können (Erlesenes berichtete hier und hier). Diesmal deckte die Recherche auf, wie die schwedische Sozialversicherungsbehörde (Försäkringskassan) jahrelang heimlich diskriminierende Algorithmen einsetzte. Ihre Datenanalyse ergab, dass der Algorithmus besonders häufig Frauen, Migrant:innen, Geringverdiener:innen und Menschen ohne Hochschulbildung als potenzielle Betrüger:innen markierte. Die Folgen für die Betroffenen waren gravierend. Nur wenige Fälle landeten tatsächlich vor Gericht, noch seltener wurde ein tatsächlicher Vorsatz festgestellt. Expert:innen warnen davor, dass diese Praxis das Vertrauen in staatliche Systeme gefährdet. David Nolan von Amnesty International: „Wenn Menschen nicht einmal wissen, dass sie von einem Algorithmus markiert wurden, wie können sie sich dagegen wehren?“ Der Verantwortliche für den Algorithmus, Anders Viseth, gibt unumwunden zu: „Ich glaube nicht, dass wir transparent sein müssen.“ Der Fall zeigt einmal mehr, dass Algorithmen objektiv erscheinen mögen, aber sie nur so fair sind wie die Menschen, die sie entwickeln, und so (un-)ausgewogen wie die Daten, auf denen sie basieren.
Hier geht‘s zum Artikel!
|
|
|
|
|
Offene KI – Geschlossene Machtstrukturen
Why ‘open’ AI systems are actually closed, and why this matters, Nature, 27.11.2024
Sicher haben Sie schon einmal Spotify, ChatGPT oder Google Maps genutzt. Aber wissen Sie auch, wer die Algorithmen hinter diesen Diensten kontrolliert? Diese Studie zeigt, wie groß die Macht einiger weniger Technologieunternehmen tatsächlich ist und dass der viel gepriesene Begriff „Open Source“ oft eine Illusion ist. Denn Unternehmen wie Meta, Microsoft und OpenAI kontrollieren nicht nur Rechenleistung und Daten, sondern auch die Narrative rund um die KI-Entwicklung. Am Beispiel von Projekten wie „LLaMA-3“ (Meta) oder „Mixtral“ (Mistral) zeigt der Artikel, wie vermeintlich „offene“ Modelle in Wirklichkeit stark eingeschränkt sind, da selbst sie keine vollständige Nachvollziehbarkeit ihrer Funktionsweise oder der Trainingsdaten erlauben. Gleichzeitig ist ihre Wiederverwendbarkeit kompliziert, da Start-ups die Modelle zwar nutzen können, aber massive Markteintrittsbarrieren haben. Und sogar ihre Erweiterbarkeit dient oft den Tech-Giganten, denn kleine Entwickler:innen arbeiten quasi kostenlos an Modellverbesserungen. Forscher:innen warnen deshalb davor, dass der Ruf nach „offener KI“ von den eigentlichen Problemen ablenkt. Echte Alternativen brauchen Regulierung, Datenschutz und eine grundsätzliche Neuausrichtung der KI-Entwicklung am Gemeinwohl.
Hier geht's zum Artikel!
|
Unsichtbare Macht: Wie KI unser Leben steuert
AI harm is often behind the scenes and builds over time – a legal scholar explains how the law can adapt to respond, The Conversation, 22.11.2024
Wir surfen in sozialen Netzwerken, die Musik-App stellt die perfekte Playlist zusammen – und ahnen nicht, wie sehr KI unser Leben bereits durchdrungen hat. Ob Jobauswahl, Serienempfehlung oder Social-Media-Feed, überall agieren Systeme, die unser Leben subtil beeinflussen. Dabei bleiben ihre Schattenseiten oft im Verborgenen. Eine Juristin deckt nun auf, wie KI-Systeme schleichend Privatsphäre, Gleichberechtigung, Autonomie und Sicherheit systematisch untergraben. Die heutigen Rechtssysteme sind auf diese schleichenden und kumulativen Schäden nicht vorbereitet, wie z. B. die Auswirkungen süchtig machenden Plattformdesigns auf Teenager. Die Autorin schlägt konkrete Reformansätze vor, darunter eine verpflichtende Folgenabschätzung für KI-Technologien sowie die Stärkung individueller Rechte und die transparente Offenlegung potenzieller Risiken. Sie ist überzeugt, dass der KI-Einsatz viele Potenziale hat, aber dringend eines rechtlichen Rahmens bedarf, der die Rechte der Bürger:innen in den Mittelpunkt stellt.
Hier geht’s zum Artikel!
|
|
|
|
|
Vision vs. Realtität: KI in der Bürger:innenbeteiligung
What AI Can’t Do for Democracy, Boston Review, 21.11.2024
KI-Tools versprechen mehr Bürgerinnenbeteiligung und mehr digitale Demokratie. Die Realität jedoch ist komplizierter, als es auf den ersten Blick scheint. Weltweit experimentieren Behörden und politische Institutionen mit KI-Tools, um Meinungen zu erfassen und auszuwerten. Doch nicht alle sind gleich effektiv. Je nach Ziel variiert die Eignung von KI-Systemen erheblich. In Großbritannien beispielsweise scheiterte 2010 eine Onlinekonsultation kläglich, als über 45.000 Vorschläge zur Gesetzesänderung die Entscheidungsträger:innen überforderten. In Südkorea erhielt eine Plattform innerhalb von 49 Tagen 180.000 Vorschläge – eine schiere Informationsflut. Dennoch können KI-Tools helfen: Beim Clustern von Kommentaren, bei der Stimmungsanalyse oder beim Erkennen von Wiederholungen – abhängig davon, welche Art von Informationen etwas die politischen Entscheidungsträger:innen tatsächlich lernen möchten. Für wirklich innovative Erkenntnisse braucht es aber (menschliches) Kontextwissen. Denn Algorithmen stoßen bei neuartigen Problemen schnell an ihre Grenzen. Digitale Demokratie braucht also mehr als Technik. Sie braucht Menschen, die kritisch und kontextbezogen denken.
Hier geht’s zum Artikel!
|
|
|
|
|
|
|
Follow-Empfehlung
Lighthouse Reports ist eine kollaborative Nachrichtenredaktion, die investigative Recherchen zu verschiedenen Themen durchführt – also nicht ausschließlich zu KI. Dennoch verdanken wir ihnen wiederholt Reportagen, in denen diskriminierende Algorithmen in Sozialbehörden aufgedeckt wurden.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
