Das Recht gegen diskriminierende Algorithmen

Ihr Workshop verdeutlichte, wie das Persönlichkeits- und Datenschutzrecht ein Mittel gegen diskriminierende Algorithmen sein kann. Er konzentrierte sich auf ein konkretes Beispiel: Seit Januar 2019 testet der Arbeitsmarktservice Österreich einen Algorithmus, der die Arbeitsmarktchancen von arbeitssuchenden Personen berechnet und diese in drei Gruppen einteilt (gute Chancen, mittlere Chancen, schlechte Chancen). Auf Basis dieser algorithmischen Einstufung unterscheiden Mitarbeiterinnen und Mitarbeiter über Fördermaßnahmen. Ab 2020 soll der Großteil der Fördermittel in die Gruppe mit den „mittleren Chancen“ fließen, da diese dort – statistisch gesehen – am effektivsten eingesetzt sind.

Arbeitsmarktchancen von Frauen werden von diesem Algorithmus pauschal schlechter bewertet als die von Männern. Wenn Frauen eine Betreuungspflicht haben, fließt das zusätzlich negativ ein (bei Männern nicht). Auch bestimmte Staatsangehörigkeiten führen zu schlechteren Einstufungen. Um diese Fehler zu verstehen, gilt es, zunächst nachzuvollziehen, was ein Algorithmus in diesem Zusammenhang ist und wie dieser konkret funktioniert: Es handelt sich um eine Softwareanwendung, die aus vergangenheitsbezogenen Daten Rückschlüsse auf Eigenschaften und künftiges Verhalten von Personen schließt. Ein statistischer Erfahrungswert wird auf eine Einzelperson übertragen, ganz unabhängig davon, ob die Daten dieser konkreten Personen in die Auswertung mit eingeflossen sind. Eine Abweichung soll natürlich minimiert werden, ist aber nicht auszuschließen. In der Presse wurde der Algorithmus des Arbeitsmarktservices Österreich als Paradebeispiel für Diskriminierung bezeichnet. Aus rechtlicher Sicht ist es aber problematisch, einen Algorithmus als diskriminierend zu bezeichnen. Vertreter des Arbeitsmarktservices argumentierten: Der Algorithmus bildet die Realität und damit auch die strukturelle Benachteiligung von Frauen ab. Wer das ignoriert, kann die Diskriminierung nicht erkennen und keine entgegenwirkenden Fördermaßnahmen einleiten. Da die Ressourcen begrenzt sind, können Fördermittel nicht überall eingesetzt werden, sondern am besten dort, wo sie am effektivsten sind. Es gilt also: Diskriminierung sichtbar machen, um sie abzubauen. Kritikerinnen und Kritiker halten dagegen: Wenn die Realität diskriminierend ist, dann sind Algorithmen, die diese Realität abbilden, selbst diskriminierend. Durch die Abbildung der Missstände werden diese festgeschrieben, eventuell sogar verstärkt.

Computer gelten als rational und objektiv. Das führt dazu, dass die Ergebnisse, die diese ausgeben, häufig nicht hinterfragt werden. Wir stehen vor einem Dilemma: Wer Diskriminierung abbauen möchte, muss diese sichtbar machen – dazu können Algorithmen beitragen. Diese Abbildung der diskriminierenden Strukturen durch den Algorithmus kann diese allerdings verfestigen und verstärken. Ein Instrument gegen Diskriminierung ist das Antidiskriminierungsrecht.

Diskriminierung im rechtlichen Sinne bedeutet eine ungerechtfertigte Ungleichbehandlung von im Wesentlichen Gleichen. Ein Diskriminierungsverbot setzt Benachteiligung voraus, diese wiederum ist im rechtlichen Sinne definiert als spürbarer Nachteil für eine Person. In dem besprochenen Beispiel wäre ein solcher spürbarer Nachteil eine negative Entscheidung über eine Fördermaßnahme. Diese Entscheidung trifft allerdings ein Mensch, der Algorithmus nimmt lediglich die Einordnung in eine Gruppe vor. Das Antidiskriminierungsgesetzt kann diesem Algorithmus also nichts anhaben, denn allein die Einordnung ist nicht diskriminierend und kein spürbarer Nachteil. Natürlich kann der Mensch, der letztendlich die Entscheidung trifft, im Einzelfall von der Einordnung des Algorithmus abweichen – es stellt sich allerdings die Frage, ob er oder sie das tatsächlich tut, wenn „der Computer etwas anderes sagt“, da dies einen rationalen Eindruck erweckt. Die Sachbearbeiterinnen und Sachbearbeiter befinden sich in einem Dilemma.

Eine Nachfrage der Teilnehmerinnen und Teilnehmer ging auf die Beobachtung ein, dass die Mittel scheinbar so vergeben werden, wie sie dem Arbeitsmarktservice am meisten nutzen. Es stellt sich die Frage, warum nicht der Bedarf der einzelnen Personen ausschlaggebend ist. Wiebke Fröhlich bestätigte: Hinter dem ganzen Prozess und dem Wunsch nach effektivem Einsatz der Mittel steht die Tatsache, dass nicht alle gefördert werden wollen bzw. können.

Es wurde außerdem kritisch diskutiert, ob Angaben wie Kinder berücksichtigt werden sollten. Selbst, wenn diese nicht explizit genannt werden, kann es sein, dass andere Indikatoren (z.B. Arbeitszeiten) darauf hindeuten. Auf der anderen Seite kann es sogar negativ sein, wenn Frauen dadurch, dass ihre Betreuungsverpflichtung für Kinder nicht berücksichtigt wird, in der obersten Kategorie (gute Chancen) laden und deshalb nicht gefördert werden – obwohl es eigentlich nötig wäre.

Das grundsätzliche Problem ist, dass der Algorithmus pauschal aufgrund von Stellvertretermerkmalen Eigenschaften zuschreibt (z.B. bestimmte Staatsangehörigkeit = schlechte Chancen). Es gibt keine individuelle Betrachtung, sondern eine Bewertung nach einer statistischen Norm. Problematisch ist also nicht erst die Frage nach der Förderung, sondern dass Frauen oder andere Gruppen als homogene Bevölkerungsgruppe betrachtet werden.

Dem gegenüber steht oft das Argument, dass auch Menschen Vorurteile haben und Sachbearbeiterinnen und Sachbearbeiter Stimmungsschwankungen haben könnten, die ihre Beurteilungen beeinflussen. Ist ein Algorithmus „nüchterner“ und deshalb besser? Wollen wir lieber die Fehlbarkeit von menschlichen Sachbearbeiterinnen und Sachbearbeitern in Kauf nehmen oder die Verobjektivierung durch einen Algorithmus? Ist uns eine subjektive menschliche Entscheidung lieber oder wollen wir auf Individualität verzichten?

Hier kommt das Persönlichkeits- und Datenschutzrecht ins Spiel. Das Bundesverfassungsgericht hat 1990 festgelegt, dass das Persönlichkeitsrecht auch die Freiheit der einzelnen Person, selbst zu bestimmen, welches Persönlichkeitsbild sie von sich vermitteln will, umfasst. Ein Computerprogramm, das ein statistisches Persönlichkeitsbild von jemandem erstellt, ohne dass die betroffene Person dies beeinflussen kann, greift in das Grundrecht ein.

Auch, wenn der Algorithmus letztendlich nicht die Entscheidung über eine Förderung trifft, besteht die Gefahr, dass Sachbearbeiterinnen und Sachbearbeiter das Bild im Kopf haben, dass Frauen generell eine schlechtere Chance auf dem Arbeitsmarkt haben. Sie begegnen Frauen also mit dieser Annahme, sodass ein informationelles Machtungleichgewicht entsteht: Die Sachbearbeiterinnen und Sachbearbeiter haben ein detailliertes Persönlichkeitsbild von einer arbeitssuchenden Person (zumindest bezogen auf die Informationen, um die es bei der Arbeitssuche geht), ohne dass letztere viel preisgegeben hätte oder das Bild beeinflussen könnte. Die Person weiß nicht, auf welcher Grundlage das Wissen konstruiert wurde und hat keine Chance, beim ersten Eindruck einer persönlichen Begegnung zu vermitteln, was sie möchte. Dieser ungleichgewichtige kommunikative Prozess ist aus Sicht des Persönlichkeitsrechts kritisch. Auch Menschen haben Vorurteile, aber eine Persönlichkeitskonstruktion durch automatisierte Datenverarbeitung ist noch problematischer.

Das hat das Bundesverfassungsgericht bereits 1983 im Rahmen des Volkszählungsurteils erkannt: „Das allgemeine Persönlichkeitsrecht bedarf unter den heutigen und künftigen Bedingungen der automatischen Datenverarbeitung im besonderen Maße des Schutzes.“ Die Gründe sind die beschriebene Verobjektivierung, Rationalisierung und Entindividualisierung sowie die nicht überschaubare Meinungsbildung dieser Maschine.

Dieser Prozess ist besonders sensibel, weil das allgemeine Persönlichkeitsrecht ein in der Verfassung verankertes Grundrecht ist. Es kann nicht einfach angepasst werden. Das allgemeine Persönlichkeitsrecht schützt nicht nur die Freiheit der einzelnen Person um ihrer selbst willen, sondern als konstitutives Element der freiheitlich-demokratischen Grundordnung. Wenn Menschen nicht mehr selbstbestimmt leben und sich präsentieren können, ist die Demokratie gefährdet. Aufgrund dieser überindividuellen Dimension hat das Thema ein besonderes Gewicht.

Die Problematik wurde schon 1960 erkannt, als die EDV immer mehr in die Verwaltung eingezogen ist. Zeitungsartikel und Kommentare aus der Zeit ähneln der heutigen Debatte, obwohl die Komplexität mittlerweile deutlich höher ist. In den 70er Jahren hat der Gesetzgeber auf diese Bedrohungsszenarien mit der Einführung des Datenschutzrechts reagiert. Hessen hat 1970 das weltweit erste Datenschutzgesetz erlassen, der Bund zog 1976 mit dem Bundesdatenschutzgesetz nach. Seitdem hat sich im Bereich Datenverarbeitung vieles getan. Beim oben genannten Volkszählungsurteil wurden Persönlichkeitsprofile auf der Basis von Daten einer konkreten Person konstruiert. Heute geht es nicht mehr nur um die Daten einer Person, sondern um viele Daten, viele Menschen und ein neues Wissen, das daraus generiert wird. Die neue Bedrohungslage besteht darin, dass vermeintliches Wissen über eine Gruppe ermittelt und dies in einem komplexen Prozess einer Einzelperson zugeschrieben wird, deren eigene Daten dabei gar keine Rolle spielen.

Das ist besonders problematisch, wenn das bei Kriterien passiert, die sowieso schon mit Stigmata und Stereotypen behaftet sind wie das Geschlecht. Die Beweislast wird umgekehrt: Nicht die Person, die Frauen schlechte Chancen auf dem Arbeitsmarkt zuschreibt, muss das rechtfertigen, sondern Frauen müssen beweisen, dass sie gute Chancen haben. Eine Einzelperson kann diesen Beweis nicht liefern, wenn sie noch nicht einmal weiß, warum sie negativ bewertet wird – und selbst wenn, hätte sie wohl kaum die Mittel und das Wissen, um das Gegenteil zu beweisen.

Das Datenschutzrecht trägt nur ein wenig zur Lösung dieses Problems bei. Denn Datenschutzgesetze beschränken sich auf die Verarbeitung von personenbezogenen Daten. Das hat seinen Ursprung in den 60er Jahren, als die Verarbeitungsprozesse weniger komplex und sowohl die Menge an Daten als auch die Anzahl an datenverarbeitenden Stellen überschaubar waren. Es wurde davon ausgegangen, dass sich das Interesse einer Person auf ihre personenbezogenen Daten bezieht, sodass diese als Anknüpfungspunkt für die Regelungen dienten. Dieser Ansatz hat sich bis heute gehalten und spiegelt sich unter anderem in der Datenschutzgrundverordnung (DSGVO) wider – diese Verordnung wägt die Interessen der Person, der die Daten gehören, mit denen der verarbeitenden Stelle ab. Was früher praktikabel war, ist heute angesichts der massenhaften Auswertung von Daten schwierig. Aus diesem Grund gibt es in der DSGVO auch eine Norm, die an der Entscheidung ansetzt: „Die betroffene Person hat das Recht, nicht eine ausschließlich auf eine automatisierte Verarbeitung beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt.“ Mehr als ein erster Schritt ist damit allerdings nicht getan: Durch das „ausschließlich“ werden hier nur Entscheidungen berücksichtigt, die vollkommen automatisiert und ohne menschliche Beteiligung erfolgen. Außerdem werden viele Ausnahmen zugelassen.

Wiebke Fröhlich fasste ihre Thesen wie folgt zusammen: Problematisch sind bereits die algorithmischen Persönlichkeitskonstruktionen im Vorfeld der Entscheidung, denn diese verleihen diskriminierenden Praktiken eine scheinbare Objektivität/Rationalität. Diskriminierende Strukturen werden perpetuiert und verstärkt. Diskriminierungsverbote sind allein nicht ausreichend, um das zu verhindern. Das geltende Datenschutzrecht hat sinnvolle Ansätze dafür, die aber noch weiterentwickelt werden müssen.

Wie könnte das aussehen? Denkbar ist, eine Verarbeitung von besonders diskriminierungssensiblen Merkmalen (wie Geschlecht) zu verbieten. Darüber hinaus könnte der Einsatz von algorithmischen Systemen in besonders diskriminierungsanfälligen Lebensbereichen (z.B. Berechnung von Versicherungstarifen) verboten werden. Dahinter stehen normative Fragen: Was sind legitime Differenzierungskriterien in welchen Lebensbereichen? Ist es legitim, Stellvertretermerkmale zu nutzen (wie Teilzeitarbeit in der Vergangenheit)? Wie weit kann ein Verbot gehen? Welche Rolle können und sollen Algorithmen bei der Aufdeckung von Diskriminierungen spielen um Fördermaßnahmen gezielt einzusetzen? Wollen wir das oder wollen wir das nicht?

Im Laufe der Diskussion mit den Teilnehmerinnen und Teilnehmern wurden unter anderem Fragen bezüglich des konkreten Falls des Arbeitsmarktservices Österreich besprochen. Der Algorithmus befindet sich in einer Testphase, die verwendeten Daten bilden die Vergangenheit ab. Eine kritische Frage könnte lauten: Wann wäre der Algorithmus ein Erfolg für den Arbeitsmarktservice – wenn die Ressourcen effektiv genutzt werden oder wenn Gleichheit gefördert wird? Der Arbeitsmarktservice argumentiert, dass Frauen durch den Algorithmus besser beurteilt werden. Der Algorithmus kann aufzeigen, woran gearbeitet werden muss. In Fällen von Entgeltdiskriminierung können algorithmische Systeme und Statistiken als Beweismittel in antidiskriminierungsrechtlichen Verfahren dienen. In den USA hat es bereits einige Sammelklagen gegeben. Die Teilnehmerinnen und Teilnehmer diskutierten außerdem über das Dilemma, dass sensible Kriterien gerne ignoriert werden würden, dies aber fast unmöglich ist, da die Tatsache des Frau-Seins in allen Variablen erkennbar bleibt. Außerdem gibt es ohne die Berücksichtigung dieser Kriterien keine Garantie mehr für Gerechtigkeit. Und: Welche Kriterien sind überhaupt als sensibel einzustufen? Geschlecht, ethnische Herkunft, Weltanschauung,…? Es stellt sich die Frage, ob es legitim ist, diese Daten zu nutzen, um im Fall von Diskriminierungen Gegenmaßnahmen einzuleiten. Nur, wenn Diskriminierung sichtbar wird, kann dagegen vorgegangen werden. Bisher war es auch nicht sofort ersichtlich, wie eine Entscheidung zustande kam, doch immerhin war ein Mensch beteiligt. Gleichzeitig, so diskutierten die Teilnehmerinnen und Teilnehmer kritisch, ließe sich argumentieren, dass ein Algorithmus eine grundlegende Gleichbehandlung gewährleistet, weil er zum Beispiel das Aussehen nicht berücksichtigt. Doch was ist mit Algorithmen, die auch Fotos auswerten können?