Kurs Objektivität und Diskriminierung in Algorithmen

Mag.^a Paola Lopez

Kursbeschreibung:

Das Ziel dieser Lehrveranstaltung ist es, den Teilnehmerinnen, in den Schnittstellen zwischen Technologie, Wissenschaft und Gesellschaft einen fachlich breit gefächerten "Werkzeugkasten" der Kritik und des Hinterfragens von vermeintlich "objektiven" und "neutralen" Technologien, sowie mathematisches Know-How über die Funktionsweise einiger Algorithmen am Beispiel des tagesaktuellen "AMS Algorithmus" zu bieten.

Der Kurs spannt einen Bogen von:

Teil 1) angewandter Wissenschaftstheorie der Natur-, Computer- und Technikwissenschaften,

Teil 2) gendertheoretischer Wissenschaftskritik, bishin zu

Teil 3) Algorithmic Bias und der Funktionsweise des "AMS Algorithmus", sowie weiteren aktuellen Beispielen in AI (Artificial Intelligence) und Machine Learning

Im Teil 3 wird das in Teil 1 und Teil 2 entwickelte "Werkzeug" zur Anwendung kommen.

Gerade Studierende zu Beginn ihres Studiums, sowie Maturantinnen, aber auch tätige Fachfrauen oder Studierende in fortgeschrittenen Semestern werden hierbei motiviert, aus ihrem Alltag und ihrer Studien- und Berufspraxis Beispiele und Situationen in den Kurs einzubringen. Die thematische Rahmung bietet hier das vermehrte Aufkommen von Algorithmen im (Berufs-)Alltag der heutigen Gesellschaft.

 

Ziel:

Durch die Teilnahme an diesem Kurs erlangen die Teilnehmerinnen das nötige wissenschaftstheoretische und mathematische Know-How, um die konzeptuelle Funktionsweise dieser Art von Algorithmen zu verstehen und auf Grundlage dieses Wissens eine fundierte Kritik an verschiedenen Aspekten solcher Algorithmen üben zu können.

Tagesaktueller Kontext:

Ab 2019 wird beim Arbeitsmarktservice Österreich (AMS) unter dem Leitmotiv der Effizienz das eigens dafür entwickelte sogenannte "Arbeitsmarkt-Chancen-Modell" eingesetzt, das Arbeitssuchende entlang ihrer prognostizierten "Chance" am Arbeitsmarkt in Gruppen mit unterschiedlicher Förderungswürdigkeit einteilen soll.

Medial bekannt wurde dieser "AMS Algorithmus" vor allem mit der dazu veröffentlichten Methodendokumentation: Dieser ist zu entnehmen, dass der Dateneintrag "Geschlecht: weiblich" einen automatischen "Punkteabzug" bringt, das bedeutet, dass eine Frau alleine aufgrund ihres Geschlechts einer weniger "förderungswürdigen" Gruppe zugeordnet werden kann. Weitere potentielle "Punkteabzüge" entlang unterschiedlicher Personendaten, wie etwa Alter oder Staatsangehörigkeit, können zu einer verstärkten Schlechterstellung führen.

Das ist ein Beispiel für eine besorgniserregende Tendenz, gesellschaftspolitische Entscheidungen mit problematischen und potentiell diskriminatorischen Auswirkungen anhand technologischer Mittel, wie etwa Data Science und Machine Learning, zu legitimieren, die objektiv, wissenschaftlich und neutral erscheinen.

So wird beispielsweise in manchen Bundesstaaten der USA bereits seit 1999 ein "Algorithmus" verwendet, der Straftäter_innen entlang personenbezogener Daten eine Wahrscheinlichkeit zuweist, rückfällig zu werden, sodass gekoppelt an die Rückfallswahrscheinlichkeit Maßnahmen wie Bewährungsauflagen oder die Länge von Gefängnisstrafen fallweise angepasst werden.

Beide Beispiele können als "selbst-erfüllende Prophezeiungen" betrachtet werden, welche die Realität gesellschaftlicher Diskriminierungen in einem ersten Schritt im virtuellen Raum abbilden, diese in einem zweiten Schritt als vermeintlich objektive Sachlage normativ verstärken und schließlich in einem dritten Schritt mittels der daraus resultierenden Maßnahmen in den sozialen Raum zurückspielen und verstärken. Anders formuliert: Es entstehen Feedback-Loops.

Hierbei wird verschleiert, dass die zugrunde liegenden Technologien weder objektiv, noch neutral sind. Es liegt "Algorithmic Bias" vor, das bedeutet, objektiv und neutral erscheinende Algorithmen verstärken Diskriminierung verschiedener Gruppen, wie etwa Frauen.

------