Die Algorithmen-Hacker

Wie funktioniert die Schufa? Eine Initiative versucht, den Schufa-Code zu knacken, um dessen Schwachstellen offenzulegen.

Algorithmen sind mächtig – und nicht immer fair. Algorithmic Accountability Reporting will aufdecken, wie sie funktionieren. Eine Initiative will jetzt zum Beispiel den Schufa-Code hacken, um dessen Schwachstellen offenzulegen. Redaktionen in Deutschland unterstützen das Projekt.

von Sonja Peteranderl

Ein Score für jeden Bürger. China plant bis zum Jahr 2020 die Einführung des nationalen Citizen Scoring Systems, das das Verhalten aller Bürger online und offline bewerten soll – und in Zukunft etwa bestimmen könnte, wer Zugang zu privaten oder staatlichen Dienstleistungen erhält und wer nicht. Algorithmen beeinflussen weltweit, wer einen Kredit erhält, wie viel die Autoversicherung kostet, sogar, wer aus dem Gefängnis entlassen oder verhaftet wird. Die Macht von automatisierten Entscheidungssystemen wächst genauso wie die Befürchtung, dass sie völlig außer Kontrolle geraten, Ungleichheiten in der Gesellschaft verstärken und Fehler machen. Kurz: gravierende Auswirkungen haben.

„Die Entwicklungen, die mir schon vor zehn Jahren Sorgen bereitet haben, wurden noch beschleunigt und haben mehr Macht bekommen, etwa die Militarisierung der Polizei, Massenüberwachung, der Einsatz von Algorithmen bei Entscheidungsprozessen in Staat und Firmen, die unser tägliches Leben beeinflussen“, warnte auch die US-Whistleblowerin Chelsea Manning auf der Digitalkonferenz Republica im Mai in Berlin. „Künstliche Intelligenz ist nicht nur ein Hype, sie ist real und gefährlich. Wir müssen deshalb herausfinden, wie wir Machine-Learning nachvollziehbar machen können.“

Doch wie könnte ein Gegengewicht zur Macht der Algorithmen aussehen? Immer mehr Journalisten experimentieren mit Tools und Techniken, um in Code gegossene Machtstrukturen, Vorurteile und Verzerrungen zu entlarven. „Algorithmic accountability reporting“ hat der Forscher Nick Diakopoulos die Watchdog- Disziplin an der Schnittstelle von Technik und Journalismus 2014 getauft. „Algorithmic accountability reporting beginnt in den USA und in Europa an Fahrt aufzunehmen“, sagt Diakopoulos heute. Diakopoulos lehrt mittlerweile an der Northwestern University in Washington und leitet das Computational Journalism Lab (CJL). Eingesetzt wird dabei eine ganze Reihe von Methoden und Tools: Journalisten und Entwickler fordern etwa mit Hilfe des Informationsfreiheitsgesetzes Unterlagen bei Behörden an oder klagen, um mehr über Software-Bewertungskriterien zu erfahren. Sie setzen auf Crowdsourcing, um an Daten und Berichte von Betroffenen zu kommen, versuchen, Algorithmen nachzubauen, und entwickeln Tools, die etwa personalisierte Facebook-Werbung tracken.


Digitale Prognosen irren häufig

Julia Angwin, die zuletzt für die gemeinnützige US-Investigativredaktion ProPublica gearbeitet hat, ist zu einer Art Frontfrau der Algorithmen-Hacker geworden: Ein von Angwin geführtes Team aus Datenjournalisten und Reportern hat ProPublica mit Projekten wie der 2016 gestarteten Serie „Machine Bias“ als Pionier des Genres positioniert. Angwins Team hat etwa recherchiert, nach welchen Kriterien Jobanzeigen auf Facebook angezeigt werden, wie der Wohnort den Tarif bei der Autoversicherung bestimmt und wie Software bei Straftätern das Rückfallrisiko bestimmt – und dabei häufig falsch liegt, vor allem, wenn es um schwarze Kriminelle geht. Um zu prüfen, ob die digitalen Prognosen im Justizsystem zutreffen, haben die Reporter Risikowerte von mehr als 7.000 Menschen, die in Broward County, Florida, verhaftet wurden, damit abgeglichen, ob sie innerhalb zweier Jahre tatsächlich rückfällig geworden sind oder nicht. „Der Score hat sich als bemerkenswert unzuverlässig gezeigt, Gewalttaten vorherzusehen: Nur 20 Prozent der Menschen haben tatsächlich wie vorhergesagt Straftaten begangen“, so das Fazit der Reporter. Schwarze Straftäter wurden doppelt so häufig fälschlicherweise als zukünftige Verbrecher eingestuft wie weiße Kriminelle.

Mit dem Political Ad Collector (PAC) hat ProPublica 2017 ein Tool entwickelt, das per Crowdsourcing Micro-Targeting auf Facebook enthüllt, wie fragwürdige Wahlwerbung von Parteien, die sonst nur kleinen Zielgruppen angezeigt werden. Vor der Bundestagswahl im vergangenen Jahr forderten auch Süddeutsche Zeitung, Spiegel Online und Tagesschau ihre Leser auf, sich das entsprechende Plug-In herunterzuladen. Wenn sich Nutzer auf Facebook anmelden, sammelt das Tool politische Anzeigen, die den Nutzern in ihrem personalisierten News-Feed angezeigt werden. Es zeigt ihnen aber auch Anzeigen an, die andere sehen, sie aber nicht.

Während ProPublica derzeit massiv investiert und zahlreiche neue Positionen für Techreporter ausgeschrieben hat, baut Julia Angwin mit ihrem Kollegen Jeff Larson ein eigenes Start-up auf. 2019 ist der Launch geplant. „Falls es jemals eine Zeit gab, in der Journalisten härter arbeiten mussten, um den Einfluss von Technologie auf die Gesellschaft zu analysieren, dann ist es jetzt“, kündigte Angwin auf Twitter im April ihr neues Vorhaben und damit den Abschied von Pro- Publica an. „Ich will wissen, ob ich meinen Ansatz tech-getriebener, investigativer Recherchen skalieren kann, indem ich eine solche Redaktion aufbaue.“

Zwar haben in Deutschland die Redaktionen großer Medien wie Spiegel Online, Zeit Online und Süddeutscher Zeitung in den vergangenen Jahren ihre Datenjournalistenteams aufgestockt. Doch den meisten Medien fehlen Ressourcen und Kompetenzen, um sich auf zeitintensive Algorithmen-Projekte einzulassen. „Algorithmic accountability reporting erfordert einen hohen Grad an Methodenkenntnis als auch an Fachwissen: Um stichhaltige Auswertungen von Algorithmen zu schaffen, sind etwa Statistikkenntnisse erforderlich, und um die Auswertung richtig zu interpretieren, braucht man Fachkenntnisse in dem untersuchten Feld“, sagt Nick Diakopoulos. Wer zum Beispiel Bewertungssoftware im Justizsystem untersuchen will, benötigt einen Spezialisten, der weiß, wie das Justizsystem tickt, welche Kriterien normalerweise in den Entscheidungsprozess einfließen, der einordnen kann, ob sich der Algorithmus eher erwartbar oder seltsam verhält. „Redaktionen müssen funktionelle Teams aufbauen, die Methoden und Sachkenntnis vereinen, und Reporter haben, die diese Experten verstehen, sie notfalls auch korrigieren können“, so Diakopoulos. Nur so könnten aufschlussreiche Geschichten und gültige Beweise entstehen.


Die Schufa hacken

In Deutschland existiert zwar bisher noch keine auf Algorithmic accountability reporting spezialisierte Redaktion, die Initiative AlgorithmWatch um Lorena Jaume-Palasí und Matthias Spielkamp treibt aber eine breite Debatte über Chancen und Risiken von Algorithmen voran und versucht, das Thema auch im Journalismus zu etablieren. Ein eigener Algorithmic-accountability-Reporter im Algorithm-Watch-Team soll zukünftig selbst Recherchen anstoßen. AlgorithmWatch steckt neben der Open Knowledge Foundation auch hinter dem Projekt, das die Schufa hacken will.

Vielleicht klappt es mit dem Kredit, weil Frauen als sparsamer gelten als Männer; vielleicht klappt es nicht, weil Auslandsreporter oder digitale Nomaden alle paar Monate die Wohnung wechseln und wie Mietnomaden wirken: Die private Auskunftei Schufa berechnet die Kreditwürdigkeit von Millionen von Deutschen, sie legt aber nicht offen, wie genau der Algorithmus funktioniert, so dass auch Vorurteile und Fehler unentdeckt bleiben.

Mit Reverse Engineering will das Team von OpenSchufa die Bewertungskriterien analysieren: „Wir wollen mit den anonymisierten Daten den Schufa-Bewertungsscore möglichst nachbauen, um herauszufinden, ob es strukturelle Benachteiligungen gibt, etwa abhängig von Wohngegenden oder Geschlecht“, sagt Walter Palmetshofer, Ökonom und Mitinitiator des OpenSchufa-Projekts bei der Open Knowledge Foundation. „Man kann darüber diskutieren, ob Scoring benachteiligend ist – der erste Schritt ist aber, dass der Prozess offen und nachvollziehbar sein sollte, wie es zu einem Ergebnis kommt.“

Mit den aufbereiteten Daten können Medienpartner wie Spiegel Online, Bayerischer Rundfunk sowie Lokalmedien später weiter recherchieren: „Wir sammeln die Daten, die Medienpartner haben dann den Erstzugriff auf den Datenpool und werden Geschichten entwickeln, darüber berichten, wie es zu welcher Art von Diskriminierung kommt, Einzelfälle recherchieren“, erklärt Palmetshofer. „Lokal wird auch nochmal nachgebohrt, ob es etwa Standortdiskriminierung gibt.“


Immer eine Blackbox

Reverse Engineering ist nur ein möglicher Ansatz, um Algorithmen auf die Schliche zu kommen. Nicht immer ist es sinnvoll oder möglich, den Code nachzubauen. Handelt es sich um AISoftware, um selbstlernende automatisierte Entscheidungssysteme, die auf Massen von Daten zugreifen, verwandeln sich die Algorithmen selbst für ihre Entwickler in eine Blackbox, es ist unklar, welche Aspekte in einem bestimmten Moment mit welcher Gewichtung den Ausschlag für eine Entscheidung geben.

„Journalisten sind immer die Outsider, die auf die Blackbox draufgucken, deswegen ist es in vielen Fällen gar nicht möglich, etwas anderes zu tun, als sich die Output-Faktoren anzusehen“, sagt auch Nick Diakopoulos. Journalisten könnten aber auch durch die Analyse und Auswertung von Output-Faktoren, also den Folgen algorithmischer Entscheidungsprozesse, Missstände aufdecken – und dann andere Kontrollinstanzen alarmieren, wie Politik, Regulierungsbehörden oder wissenschaftliche oder private Institutionen, die den Audit- Prozess übernehmen können oder anderweitig tätig werden. „Der Nachteil dieses Ansatzes ist, dass Journalisten zwar warnen können, aber nicht immer in der Lage sind, zu erklären, warum sie sehen, was sie sehen“, so Diakopoulos. Manchmal ist die Veröffentlichung einer ersten Geschichte aber nur der erste Schritt – und die Story entwickelt sich weiter, weil andere Organisationen oder Spezialisten einspringen und menschliche oder technische Aspekte und Ursachen erklären können.

Walter Palmetshofer vom Open-Schufa-Projekt ist zuversichtlich, dass das geplante Reverse Engineering klappt: „Es kommt immer darauf an, um welche Art von Algorithmen es sich handelt, aber der Algorithmus der Schufa ist keine Rocket-Science. Technisch sollte es möglich sein, wenn wir genug Datenpunkte bekommen“, so Palmetshofer. Etwa 5.000 Samples braucht das Team, um die Bewertungskriterien zu rekonstruieren, schätzt er. Mehrere Zehntausend Menschen sind dem Aufruf immerhin schon gefolgt, und haben ihre Schufa-Bewertung bei der Auskunftei angefordert. Jetzt müssen nur genug von ihnen ihre Datenspenden über OpenSchufa.de hochladen – und sie so den Algorithmen-Hackern zur Verfügung stellen.

Sonja Peteranderl arbeitet als freie Auslandskorrespondentin für Medien wie Wired Germany, Spiegel Online und Zeit Online. Sie ist Gründerin des Buzzing Cities Lab, eines Think Tanks, der Sicherheitspolitik und Digitalisierung erforscht.

 

Die Redaktion - 13.6.2018