Wo Maschinen irren können

Dieses Arbeitspapier erklärt, wie algorithmische Entscheidungssysteme entwickelt und in einen gesellschaftlichen Kontext eingebettet werden, und zeigt dabei potenziell auftauchende Fehlerquellen auf.

Nach einem einleitenden Teil, in dem die Begriffe Algorithmus und Entscheidungssystem näher definiert werden, beschreibt das Papier den Entwicklungs- und Einbettungsprozess von algorithmischen Entscheidungssystemen.

Der Prozess, den ein Entscheidungssystem von seiner Entwicklung bis zur Evaluation durchläuft, ist lang und an vielen Stellen von zahlreichen Entscheidungen abhängig. Dafür sind in den einzelnen Phasen unterschiedliche Personen verantwortlich: Wissenschaftler und Programmierer genauso wie Data Scientists und unterschiedliche Akteure (z. B. staatliche, wirtschaftliche, wissenschaftliche Institutionen oder Nichtregierungsorganisationen).

Die hohe Anzahl an Entscheidungen sowie unterschiedlicher Beteiligter macht den Prozess anfällig für Fehler, die in allen Phasen auftauchen können.