Gender in algorithmischen Systemen

Der vierte GEWINN-Fachtag fand am 25. April 2019 an der Technischen Universität München zum Thema "Gender in algorithmischen Systemen" statt.

Algorithmen-basierte Entscheidungsprozesse haben zunehmend Einfluss auf Konsumentscheidungen, Teilhabemöglichkeiten und die Lebensgestaltung der Menschen in unserer Gesellschaft. Selbstlernende algorithmische Systeme lernen von Daten aus der realen Welt – und bilden so auch existierende Ungleichheiten und Diskriminierungen ab. Doch wie sieht ein verantwortungsvoller Umgang mit algorithmischen Systemen aus? Worin liegen die Chancen, durch gut gemachte algorithmische Systeme mehr Fairness und Gerechtigkeit zu ermöglichen? Diese und weitere Fragen wurden im Rahmen des 4. GEWINN-Fachtags vorgestellt und diskutiert.

Dokumentation

Sie finden hier die Zusammenfassungen der Vorträge und Workshops des vierten Fachtags des Projekts GEWINN zum Thema "Gender in algorithmischen Systemen" am 25.04.2019 in München. Die Zusammenfassungen wurde anhand von Audioaufnahmen und Protokollen erstellt. Sie sollen den Diskurs widerspiegeln, Anregungen geben und einen Überblick über die verschiedenen Aspekte bieten, die bei der Entwicklung und Anwendung algorithmischer Systeme aus Gendersicht beachtet werden sollten.

In den Downloads finden Sie darüber hinaus einige Präsentationen der Referentinnen und Referenten, die Tagungsmappe sowie die Dokumentation als druckbares PDF-Dokument. Zur Ansicht stehen Fotoimpressionen und Sketchnotes zur Verfügung.

Zur Dokumentation

Programm

	Seminarraum 607	Seminarraum 120	Seminarraum 139	Seminarraum 141
09:00	Anmeldung und Garderobe
09:30		Begrüßung Prof. Dr. Nicola Marsden (Hochschule Heilbronn) Wissenschaftliche Leiterin
09:45		Eröffnungsvortrag Ulrike Irmler (Microsoft München) Gender im Design von Personalisierungsalgorithmen
10:45	Kaffeepause
11:00		Workshopsession I RyLee Hühne und Cornelia Breitenstein (FH Südwestfalen, Iserlohn/ msg systems ag) Wie kann/ wie soll Informatik damit umgehen, dass es mehr als zwei Geschlechter gibt?	Workshopsession I Michael Ahmadi, Anne Weibert, Corinna Beckmann, Eva Mattausch (Universität Siegen/ Ubisoft BlueByte GmbH) Modellprojekt Reallabor: Wie Unternehmen praktisch von Geschlechterforschung profitieren	Workshopsession I Felicitas Birkner und Armin Groß (Fujitsu Technology Solutions) Gender im System: Chancen und Herausforderungen
12:15			Workshopsession II Xenija Neufeld (Otto-von-Guericke-Universität Magdeburg) Videospiele als Einstieg in die Informatik und wie diversity-freundlich die Spieleindustrie ist
13:15	Mittagspause
14:15		Workshopsession III Nushin Yazdani (Transformationsdesignerin, KI Ethik Researcherin) Designing Speculative Futures – A Feminist Approach	Workshopsession III verschobener Workshop Dr. Andreas Braun (Accenture) Fairness in KI – Wie definiert sie sich und wie erreichen wir sie?	Workshopsession III Ingo Brenckmann und Alissa Wilms (Porsche Digital Lab) Gender in KI-basierten-Systemen: Chancen erkennen - Risiken minimieren
15:15		Präsentation Kenza Ait Si Abbou (Deutsche Telekom AG) Die Erfolgsgeschichte des ersten KI-Hackathons exklusiv für Frauen	Katrin Fritsch und Helene von Schwichow (MOTIF Institute for Digital Culture) Feminismus und Fiktion: Technologien neu erzählen	Wiebke Fröhlich (Goethe Universität Frankfurt am Main) Das Recht gegen diskriminierende Algorithmen
16:15		Abschluss Prof. Dr. Nicola Marsden (Hochschule Heilbronn) Wissenschaftliche Leiterin
16:30	Veranstaltungsende

Verbundleiterin Prof. Dr. Nicola Marsden, Hochschule Heilbronn, führte durch das Programm.

Vorträge

Gender im Design von Personalisierungsalgorithmen

Ulrike Irmler, Microsoft

Zeit: 09:45 - 10:45 Uhr
Raum: Seminarraum 120

In digitalen Medien ist der Einsatz von Personalisierungs-Algorithmen und maschinellen Lernsystemen zur Auswertung von Inhalten und Benutzerpräferenzen Standard. Seit der US-Wahl 2016 warnen uns Medienexperten vor Filterblasen, die die Neutralität der Berichterstattung beeinträchtigen und die Gesellschaft polarisieren. Jedoch verstecken sich in diesen Systemen nicht nur politische, sondern auch andere Bias-Formen, wie z.B. die Unterrepräsentation und stereotype Darstellung von Frauen und Minderheiten. KI-Systeme lernen von den Inhalten, die sie konsumieren und auswerten. Sie sind auf Text- und Bild-Trainingsdaten angewiesen, um semantische Assoziationen und Zusammenhänge zu erfassen und daraus Schlüsse zu ziehen. Diese Korpora bestehen aus öffentlich zugänglichen Daten, wie z.B. Internet-Inhalte und Open-Source-Bilddatenbanken, welche wiederum voll von Gender Bias und anderen Darstellungsproblemen sind, wie z.B. die Assoziation von Minderheiten mit bestimmten Themen. Zusätzlich lernt ein Personalisierungs-Algorithmus von der Interaktion mit den Nutzer der Inhalte, die zur Verstärkung von Verzerrungen führen kann.

Unter dem Dach von Microsoft News werden Inhalte weltweit in 28 Sprachen, von mehr als tausend Premium-Publishern und über 3000 Medienmarken auf der ganzen Welt unter anderem auf MSN, Edge, Bing und Windows bereitgestellt. Als Teil des Medien-Ökosystems streben wir nach fairer und unvoreingenommener Darstellung, als Technologieunternehmen entwickeln wir Algorithmen, die Interessen und Gewohnheiten unsere Nutzer reflektieren und unterstützen. In diesem Rahmen beschäftigen wir uns mit dem Thema Gender-Bias und entwickeln Strategien diesem vorzubeugen.

Die Erfolgsgeschichte des ersten KI-Hackathons exklusiv für Frauen

Kenza Ait Si Abbou, Deutsche Telekom IT GmbH

Zeit: 15:15 - 16:15 Uhr
Raum: Seminarraum 120

Kenza Ait Si Abbou, Senior Manager für Robotics and Artificial intelligence bei der Deutschen Telekom und Leiterin des Frauennetzwerks, berichtet in ihrem Vortrag vom ersten KI-Hackathon nur für Frauen, den die Deutsche Telekom im November 2018 in Berlin durchgeführt hat.

Die Idee dazu entstand in einem Meetup zum Thema „Women in AI“ – nicht auf der Leitungsebene des Unternehmens, sondern auf Initiative einer Gruppe engagierter Mitarbeiterinnen und Mitarbeiter. Die Vision war, einen Wettbewerb nur für Frauen zu organisieren, um diese zu ermutigen, an Hackathons teilzunehmen und ihnen ein sicheres Umfeld zu bieten, in dem sie lernen und sich vernetzen können.
52 Hackerinnen aus fünf Ländern nahmen am #AIHack4Ladies teil. Sie erarbeiteten Lösungen zu den Herausforderungen „Die Zukunft der Mobilität“, „Analyse der Dynamik von Informationsverbreitung und Konsensbildung“ und „Diversität - mehr Gleichheit bei digitaler Kompetenz und Online-Präsenz von Minderheiten“. Das Gewinnerinnen-Team stellt sein Produkt vor, das die Jury überzeugt hat.

Workshopsessions

Wie kann/ wie soll Informatik damit umgehen, dass es mehr als zwei Geschlechter gibt?

RyLee Hühne, FH Südwestfalen/Iserlohn | Cornelia Breitenstein, msg systems ag

Zeit: 11:00 - 12:00 Uhr
Raum: Seminarraum 120

„Divers“ ist seit dem 1.1.2019 nun auch in Deutschland als dritte, gleichberechtigte Eintragsmöglichkeit für das Geschlecht rechtlich etabliert, neben „Mann“ und „Frau“. Und gesellschaftlich ist das Geschlechterbild sowieso schon lange im Wandel. Was bedeutet dieser Umbruch für Unternehmen? Welche Aufgaben, Herausforderungen und Gestaltungsmöglichkeiten ergeben sich daraus für die IT-Systeme und IT-Prozesse?

In diesem Workshop geben wir einen Einblick in die aktuelle Situation, stellen Handlungsstrategien vor und erarbeiten gemeinsam an konkreten Beispielen Lösungsmöglichkeiten. Input der Teilnehmenden aus der eigenen Praxis ist ausdrücklich erwünscht. Neben (kurzen) Inputphasen gibt es Phasen zum Austausch und zur Arbeit in Kleingruppen.

Da sich die Annahme von Zweigeschlechtlichkeit tief durch die Abläufe im Unternehmen zieht − und damit auch durch die IT-Prozesse und Datenmodelle − reicht es nicht, einfach nur IT-Oberflächen und Datenbanken anzupassen. Kundenanreden wie „Sehr geehrter Herr“ stehen oft direkt fest im Quellcode.
Darüber hinaus sind auch die Daten der Mitarbeitenden im Unternehmen selbst zu betrachten, inklusive externer Schnittstellen zu Sozialversicherungsträgern und zum Finanzamt. Altsysteme codieren häufig das Geschlecht in Identifiern oder machen Annahmen über das Geschlecht des Ehepartners.

Der Workshops ermöglicht den Teilnehmenden einen Austausch zum Thema „IT & Geschlechtervielfalt“ und bietet konkrete Anregungen für die eigene Unternehmenspraxis.

Das Recht gegen diskriminierende Algorithmen

Wiebke Fröhlich, Goethe Universität Frankfurt am Main

Zeit: 13:00 - 14:00 Uhr
Raum: Seminarraum 120

Algorithmen können aus großen Datenmengen statistisches Wissen generieren und Informationslücken schließen. Eingebettet in Entscheidungsprozesse versprechen sie Objektivität und Effizienz. Zudem können sie eingesetzt werden, um Diskriminierungen aufzudecken und strukturelle Benachteiligungen sichtbar zu machen. Gleichzeitig besteht die Gefahr, dass algorithmische Entscheidungssysteme benachteiligende Strukturen und Praktiken perpetuieren und sogar verstärken. Zur Lösung des Dilemmas werden in Politik und Wissenschaft vor allem antidiskriminierungsrechtliche Maßnahmen diskutiert.

Wiebke Fröhlich zeigt, dass Diskriminierungsverbote nur bedingt zur rechtlichen Regulierung von Algorithmen taugen. Problematisch ist nicht erst eine benachteiligende Entscheidung durch einen Algorithmus. Bereits die automatisierte Kategorisierung von Personen als solche hat grundrechtliche Relevanz. Das Recht muss daher bereits im Vorfeld von diskriminierenden Entscheidungen ansetzen. Wiebke Fröhlich stellt das Datenschutzrecht als ein probates Mittel zur Regulierung „algorithmischer Diskriminierungen“ vor.

Der Workshop beginnt mit einem Überblick über die antidiskriminierungsrechtlichen und datenschutzrechtlichen Möglichkeiten zur Regulierung diskriminierender Algorithmen. Im Anschluss werden rechtliche und technische Lösungsansätze diskutiert. Ziel ist die Entwicklung neuer Ansätze: Was ist technisch machbar und rechtlich möglich?

Videospiele als Einstieg in die Informatik und wie diversity-freundlich die Spieleindustrie ist

Xenija Neufeld, Otto-von-Guericke-Universität Magdeburg

Zeit: 13:00 - 14:00 Uhr
Raum: Seminarraum 139

Die Videospieleindustrie gewinnt immer mehr an wirtschaftlicher Bedeutung, doch wie diversity-freundlich ist sie? In diesem Workshop betrachten wir das Thema Gender und Spiele unter drei verschiedenen Aspekten: Spiele als Zugang zur Informatik, Gender in der Spieleentwicklung und Gender in Spielen.

Zum Ersten ist es wichtig Mädchen bereits im Schulalter weibliche Vorbilder zu zeigen und sie für Informatik zu begeistern. Die Entwicklung von Videospielen als grafische und interaktive Programme bietet hierbei einen interessanten Zugang zu Informatik. Zum Zweiten betrachten wir die Spieleindustrie als Arbeitgeber. Wie ist die Genderverteilung in verschiedenen Entwicklungsbereichen und woran liegt das? Wir stellen einige Initiativen zur besseren Vernetzung von Frauen in der Spieleentwicklung vor. Zum Dritten schauen wir die Inhalte von Spielen unter dem Aspekt Diversity an. Sind Videospiele tatsächlich männerorientiert oder macht sich das Thema Diversity auch in den Spielen selbst bemerkbar? Wenn diese Bereiche und die Zusammenhänge zwischen ihnen verstanden und ihre Entwicklung unterstützt wird, besteht das Potenzial die Spieleindustrie so zu verändern, dass das Thema Diversity nicht mehr als Ausnahme behandelt wird, sondern zur Regel wird.

Modellprojekt Reallabor: Wie Unternehmen praktisch von Geschlechterforschung profitieren

Michael Ahmadi und Anne Weibert, Universität Siegen | Corinna Beckmann und Eva Mattausch, Ubisoft BlueByte GmbH

Zeit: 11:00 - 12:00 Uhr
Raum: Seminarraum 139

Im Rahmen des Projekts GEWINN analysieren und beforschen in sechs Reallaboren Wissenschaftler/innen und Praktiker/innen aus Unternehmen gemeinsam reale Unternehmensprozesse. Die Reallabore sollen einen kontinuierlichen Austausch zwischen Wissenschaft und Praxis sichern und die intensive fachliche Kooperation fördern. Dieser partizipative und anwendungsorientierte Ansatz eröffnet einen praktischen Dialog über Geschlechterfragen, in dem sich einerseits Unternehmen der Komplexität aktueller Erkenntnisse der Geschlechterforschung stellen müssen. Andererseits sind die Forschenden wiederum gefordert, nach in der Praxis tragfähigen Lösungsmodellen zu suchen. Die Erkenntnisse aus den Reallaboren werden bei dem Fachtag in München vorgestellt, diskutiert und weiterentwickelt. Hierbei fokussieren wir uns auf den Prozess des „Onboardings“ und besprechen, inwiefern man neuen Mitarbeitenden die ersten Wochen im Unternehmen erleichtern kann.

KI – Chancen. Risiken.Wege: Ein Fallbeispiel

Felicitas Birkner und Armin Groß, FUJITSU

Zeit: 11:00 - 12:00 Uhr
Raum: Seminarraum 141

Digitalisierung durchdringt in vielfältiger Weise zunehmend unsere Lebens- und Arbeitsbereiche. Algorithmische Systeme lernen selbständig von Daten und beeinflussen damit Lebensweisen, Handlungen und Entscheidungen in unterschiedlichster Art und Weise. Welche Anforderungen und Chancen eröffnen sich im Zusammenspiel und der Gestaltung von Prozessen, in denen Muster und Fakten zählen und die berühmte „Blackbox“ mitwirkt?

Anhand eines Fallbeispiels gibt der Workshop Einblicke in Herausforderungen und Fragestellungen automatisierter Entscheidungen auf Basis gesammelter Daten. Chancen – Risiken und Einsatzbereiche von selbstlernenden Systemen werden betrachtet und verschiedene Aspekte angesprochen, die Einfluss auf Entscheidungsprozesse haben.

Designing Speculative Futures – A Feminist Approach

Nushin Yazdani, Transformationsdesignerin und KI Ethik Researcherin

Zeit: 14:15 - 15:15 Uhr
Raum: Seminarraum 120

Wenn Menschen über Menschen entscheiden, beeinflussen vorgefertigte Wahrnehmungen, Stereotype, Vorurteile und erlernte Verhaltensmuster den Prozess. Um diese Biases aus der Welt zu schaffen, werden immer häufiger Entscheidungsprozesse in algorithmische Systeme ausgelagert – in dem Glauben, die "neutrale Technik" würde objektiver und diskriminierungsfreier entscheiden können als der Mensch.

Die Realität jedoch sieht anders aus: Algorithmische Entscheidungssysteme reproduzieren sexistische, rassistische oder andere diskriminierende Strukturen, die in der Gesellschaft vorherrschen – oder schaffen ganz neue Möglichkeiten der Unterdrückung und Marginalisierung. Algorithmische Systeme verstärken damit die soziale Ungerechtigkeit, die sie eigentlich abschaffen sollten.

Schuld daran sind unzureichend diverse Datensätze, in denen sich systemische Ungerechtigkeit abbildet, aber auch die Menschen, die diese Datensätze zusammenstellen, mit ihnen arbeiten und denen Bewusstsein und Handwerkszeug fehlt, diese Datensätze nach ethischen und soziologischen Fragestellungen zu prüfen. In der Diskussion um Bias in algorithmischen Entscheidungssystemen wird die Problematik allzuoft verdinglicht, sie wird auf technische Aspekte reduziert, aus Unwissenheit oder um sich nicht mit den weitaus komplexeren gesamtgesellschaftlichen Problemen auseinandersetzen zu müssen.

Diskriminierung, die durch diese Technik verstärkt oder ausgelöst wird, wird vor allem mit technischen Mitteln adressiert. Die Analyse fokussiert sich meist allein auf die gegenwärtige Anwendung des betreffenden Entscheidungssystems – und lässt Überlegen zu möglichen Konsequenzen und missbräuchlichen Anwendungen in der Zukunft außen vor.

Um die Problematik von Bias in algorithmischen Entscheidungssystemen in seinen unterschiedlichen Ausprägungen und Auswirkungen fassen und angehen zu können, braucht es einen holistischen feministischen Ansatz.

In diesem Workshop erarbeiten wir deshalb ausgehend von real existierenden Services mögliche spekulative Zukünfte, in denen diese Systeme eingesetzt werden und welche gesellschaftlichen Folgen sie nach sich ziehen. Gemeinsam wollen wir entscheiden, ob wir diese Zukünfte für erstrebenswert halten. Und wenn ja, wie wir sie erreichen können.

Gender in KI-basierten-Systemen: Chancen erkennen - Risiken minimieren

Ingo Brenckmann und Alissa Wilms, Porsche Digital Lab

Zeit: 14:15 - 15:15 Uhr
Raum: Seminarraum 141

Welche Chancen und Risiken für “GENDER“ liegen in KI-basierten Systemen und wie kann eine spezielle Entwicklungspipeline identifizierte Risiken minimieren?

Die Entwicklungskette von KI Systemen besteht maßgeblich aus den Trainings- und Testdaten, den KI Algorithmen und ihren Modellen, der Interpretation ihrer Ergebnisse sowie dem produktiven Einsatz der Modelle.

Mit Hilfe eines praxisnahen Beispielprojektes, in dem ein KI System Bewerbungsunterlagen prüfen und einordnen soll, werden wir ein Wirkungsgefüge dieses Systems erstellen und analysieren. Die Ergebnisse dieser Betrachtung werden in Hinsicht auf die Chancen und Risiken des Projektes in seinem operativen Kontext interpretiert. Besonderer Fokus liegt dabei auf Risiken, die sich aus Gender-spezifischen Attributen ergeben können. Abschließend werden wir auf die einzelnen Stationen der Entwicklungskette von Künstlichen Intelligenzen eingehen und gängige Fehler sowie Lösungen erarbeiten.

Fairness in KI – Wie definiert sie sich und wie erreichen wir sie?

Dr. Andreas Braun, Accenture

Zeit: 13:00 - 14:00 Uhr
Raum: Seminarraum 141

Der 60-minütige Workshop beleuchtet die Fragestellung, wie sich „Fairness“ im Zusammenhang mit Künstlicher Intelligenz definieren lässt. Dabei geht es nicht nur um den Einfluss von Daten vs. Algorithmen, sondern auch um einen Vergleich von tatsächlicher Datenrealität und oft anders lautender sozialer Erwünschtheit. Die Vorstellung von „AI Fairness Tools“ eröffnet anschließend den Dialog darüber, welche Chancen für größere Gleichheit derartige Werkzeuge bieten, wo ihre Grenzen liegen und wie sie sich in die berufliche Praxis der Teilnehmer übertragen lassen.

Feminismus und Fiktion: Technologien neu erzählen

Katrin Fritsch und Helene von Schwichow, MOTIF Institute for Digital Culture

Neue Technologien fungieren oft als Narrationen einer besseren Gesellschaft: Sie versprechen Gleichheit, Vernetzung, oder Freiheit. Gleichzeitig sind Technologien aber auch Ausdruck von Machtverhältnissen, die bestehende soziale Ungleichheiten repräsentieren. Was passiert, wenn man diese Narrationen provoziert und Zukünfte bewusst aus einer feministischen Perspektive erzählt?

Ziel des Workshops ist es, Zukünfte des Internets zu analysieren, zu kritisieren, und sie neu zu erzählen. Dazu diskutieren wir zunächst den aktuellen Zustand des Internets und identifizieren dabei patriarchale, kapitalistische und ungerechte soziale Strukturen. Im Folgenden überlegen wir, wie Antworten auf solche Machtstrukturen aussehen könnten. Nun können die Teilnehmenden alleine oder in Kleingruppen sich für eine konkrete Fragestellung entscheiden und sich damit auseinandersetzen, wie eine neue Narration aus einer feministischen Perspektive aussehen könnte. Das Ergebnis sollte jeweils eine kurze Sci-Fi-Geschichte sein, die von einem alternativen Internet erzählt.

Indem wir Narration als kulturelle Praxis nutzen, versuchen wir neue Blickwinkel auf gegenwärtige Debatten über feministisches Internet und neue Technologien zu gewinnen. Die Produktion der Kurzgeschichten ist somit nicht nur eine Basis für Diskussionen über Machtstrukturen, sondern zugleich eine Möglichkeit, die Zukunft des Internets aus einer feministischen Perspektive aktiv mitzugestalten.

Verhaltenskodex

Wir möchten allen Teilnehmenden einen diskriminierungsfreien Fachtag bieten, unabhängig von Geschlecht, sexueller Orientierung, Einschränkung, Aussehen, Körperbau, Ethnizität, politischer Ansicht oder Religionszugehörigkeit. Wir legen dabei Wert auf einen respektvollen Umgang miteinander und tolerieren keinerlei Belästigung von Tagungsteilnehmenden. Sexistische und diskriminierende Sprache und Darstellungen sind auf dem Fachtag unerwünscht. Dies umfasst den Veranstaltungsort, die Vorträge und Workshops sowie Twitter und andere Medien.

Teilnehmende, die gegen diese Regeln verstoßen, müssen unter Umständen mit einem Verweis vom Fachtag rechnen. Daher bitten wir Sie herzlich, den konstruktiven und respektvollen Umgang miteinander zu fördern, und das Ereignis für Alle so angenehm wie möglich zu gestalten. Wir freuen uns sehr auf Sie und Ihre Teilnahme.

Mit Ihrer Anmeldung erklären Sie sich mit dem für die GEWINN-Fachtage geltenden Verhaltenskodex einverstanden.