Die Digitalisierung schürt bei vielen Menschen Angst und Unsicherheit. Ob in politischen, ethischen oder fachlichen Diskussionen in der Industrie und Arbeitswelt: Die Digitalisierung ist omnipräsent. Doch für normale Bürgerinnen und Bürger ohne spezielles Expertenwissen ist es eine Herausforderung, sich im Begriffsdschungel der Digitalisierung zurechtzufinden. Darüber und vieles mehr sprechen wir mit der Mathematikerin und Leiterin von AlgorithmWatch Schweiz Anna Mätzener.
Frau Mätzener, was verstehen Sie ganz allgemein unter Digitalisierung?
Für den Begriff Digitalisierung existiert keine eindeutige Definition. Er kann, abhängig vom jeweiligen Kontext, mehrere Bedeutungen annehmen. Im Kern bedeutet Digitalisierung, dass analoge Informationen oder Abläufe in eine digitale Form gebracht werden. Zum Beispiel, wenn Musikstücke, die bislang auf Kassetten oder Schallplatten abgelegt waren, so transformiert werden, dass man sie auf dem Computer anhören kann. Oder die Umwandlung von Dias in Digital-Fotos. Eine öfter verwendete weitere Bedeutung von Digitalisierung meint die durch sie ausgelösten Veränderungsprozesse in der Gesellschaft inklusive Wirtschaft, Kultur, Bildung und Politik.
Hier sind sich nicht einmal Expertinnen und Experten einig, welche Bedeutung diesem Ausdruck angemessen ist und wie die Abgrenzung zu den oft synonym verwendeten Begriffen wie Algorithmen, maschinelles Lernen oder Big Data zu setzen ist. Und weil dies so ist, sagen wir von AlgorithmWatch nicht künstliche Intelligenz, sondern wir sprechen von automatisierten (auf Algorithmen beruhenden) Entscheidungssystemen. Weshalb? Weil sich viele Menschen unter künstlicher Intelligenz Roboter mit menschlichen Gesichtszügen vorstellen, die möglicherweise bald die Weltherrschaft übernehmen. Das ist einerseits furchteinflössend und andrerseits werden so Maschinen vermenschlicht und vermitteln den Eindruck, als würden sie autonom handeln. Das stimmt jedoch nicht, denn sie befolgen ausschliesslich Regeln, welche von Menschen aufgestellt werden. Wir möchten mit dem Begriff automatisierte Entscheidungssysteme falsche Vorstellungen vermeiden, um so eine konstruktive Diskussion über künstliche Intelligenz zu ermöglichen.
Mathematisch gesehen ist ein Algorithmus eine Reihe von Anweisungen, die Schritt für Schritt ausgeführt werden, um ein Problem zu lösen oder eine Aufgabe zu bewältigen. In unserem Alltag begegnen wir Algorithmen etwa dann, wenn wir einen Kuchen nach einem Rezept backen. Das Rezept ist der Algorithmus, den wir ausführen, damit der Kuchen gelingt.
Auch bei automatisierten Entscheidungssystemen sind Algorithmen gemeint. Diese sind deutlich komplexer. Wir kennen den Google-Algorithmus, der bestimmt, wann welche Webseite in den Google-Suchergebnissen auf welcher Position angezeigt wird. Die automatisierte Entscheidungsfindung ist heute weit fortgeschritten und die rechtliche und ethische Einschätzung dieser automatisierten Entscheidungen hinkt hinterher.
Maschinelles Lernen meint eine Form automatisierter Entscheidungsfindung und basiert auf dem Gedanken, dass Systeme aus Daten lernen, Muster erkennen und Entscheidungen treffen können, dies mit minimaler menschlicher Intervention. Dabei wird eine Software von den Programmierern mit einer Menge an Daten versorgt, die ihr bestimmte statistische Zusammenhänge beibringen. Nach diesem gelernten Muster zieht die Software dann neue Schlüsse. Hier geben Programmierer zwar die Strategien vor, nach denen Daten analysiert werden, doch sie legen nicht jedes Detail fest wie in herkömmlichen Programmen. Innerhalb eines vorgegebenen Rahmens verbessert der Algorithmus stattdessen selbständig sein Vorgehen bei der Datenanalyse. Anwendungsbeispiele finden wir u.a. beim Onlinehandel. Wer kennt sie nicht, die klassischen «Kunden, die diesen Artikel kauften, kauften auch…» oder «Das könnte Sie auch interessieren»-Anzeigen beim Onlineshopping. Diese Tipps, passend zu den individuellen Präferenzen der Nutzer:innen, sind die Ergebnisse erheblicher Rechenleistungen und komplizierter Algorithmen.
Weiter Beispiele sind der Einsatz von Algorithmen in der Videoüberwachung zur Gesichtserkennung und beim autonomen Fahren (selbstfahrende Autos und Busse ohne Fahrer), bei der Einschätzung der Kreditwürdigkeit (Credit Scoring, Schufa in Deutschland), bei der Berechnung des Risikos bei Straftäter:innen bei der Entlassung aus dem Gefängnis rückfällig zu werden oder beim sogenannten Predictive Policing: wo könnten die nächsten Einbrüche stattfinden? Welche Personen sind potentielle Gefährder:innen? Auch im Personalmanagement werden zunehmend Algorithmen eingesetzt, die bei der Mitarbeitersuche und Personalauswahl und bei der Beurteilung der Leistung von Mitarbeiter:innen helfen sollen.
«Die Menschen müssen eine Vorstellung davon haben, wie Algorithmen funktionieren, welche Ziele mit ihnen verfolgt werden und inwiefern sie steuerbar sind.»Anna Mätzener Leiterin von AlgorithmWatch
Wenn wir beim Beispiel der Personalauswahl bleiben: Gerade grosse Unternehmen sind bei Stellenbesetzungen mit einer Flut von Bewerbungen konfrontiert, die von den HR-Mitarbeitenden kaum zu bewältigen sind. Hier ist es sicher hilfreich, wenn eine datenbasierte Software die eingereichten Bewerbungsunterlagen hinsichtlich verschiedener Kriterien analysiert und eine erste Personalauswahl trifft. Aber Achtung, es kann eben auch daneben gehen. Der Onlineversandhändler Amazon wollte in einem Projekt eine Software entwickelt, die unter den Bewerber: innen automatisch die besten findet. Der Algorithmus hatte aber unerwünschte Nebenwirkungen, weil er Frauen diskriminierte, allerdings nicht absichtlich.
Die Software wurde auf der Grundlage von Daten von bereits erfolgreich bei Amazon angestellten Mitarbeitenden trainiert. Das hatte aber einen Haken: Wie die gesamte Tech-Branche war auch die Belegschaft bei Amazon vor einigen Jahren noch hauptsächlich männlich. Mitarbeiterinnen in gehobeneren Positionen gab es kaum. Die für das Training der Software genutzten Lebensläufe und Bewerbungsunterlagen stammten deshalb überwiegend von Männern. Also begann das Computerprogramm in der Folge Bewerbungen schlechter zu bewerten, wenn in ihnen Wörter wie «Frau» oder «weiblich» vorkamen. Da man nicht ausschliessen konnte, dass strukturelle Ungleichheiten ständig reproduziert werden würden, stellte man das Programm schliesslich ein. Hier offenbarte sich ein grundlegendes Problem des maschinellen Lernens: Es birgt erhebliche Diskriminierungsrisiken.
Wenn die Trainingsdaten für das Programm bereits mit Vorurteilen behaftet sind, dann lernen die Algorithmen, dass diese Vorurteile richtig und gut sein müssen und die Software baut diese weiter aus. Auch weitere gesellschaftliche Vorurteile können sich so aufgrund der verwendeten Daten, die immer aus der Vergangenheit stammen, in den Entscheidungen der Algorithmen wiederfinden.
AlgorithmWatch ist eine Ende 2015 in Berlin gegründete gemeinnützige Forschungs- und Interessenvertretungsorganisation. Im September 2020 konnten wir dank der Unterstützung des Migros-Pionierfonds AlgorithmWatch Schweiz lancieren. Wir sind der Ansicht, dass eine zunehmend komplexer werdende digitale Welt nicht dazu führen darf, dass Technik für «normale» Menschen nicht mehr nachvollziehbar ist oder ohne ihr Wissen bzw. zu ihrem Nachteil eingesetzt wird.
AlgorithmWatch Schweiz erklärt Algorithmen einer breiten Öffentlichkeit und sorgt damit für mehr Wissen auf allen Ebenen: in Unternehmen und öffentlichen Verwaltungen ebenso wie in den Medien, unter politischen Entscheidungsträgerinnen, der Zivilgesellschaft und natürlich unter den Nutzerinnen und Nutzern selbst. Denn eine Gesellschaft kann den Entscheidungsprozessen von Algorithmen nur dann vertrauen, wenn diese angemessen transparent sind. Die Menschen müssen eine Vorstellung davon haben, wie Algorithmen funktionieren, welche Ziele mit ihnen verfolgt werden und inwiefern sie steuerbar sind.
Nein, überhaupt nicht. Wir sind nicht gegen den technischen Fortschritt. Wir wollen jedoch dazu beitragen, dass diese Technologien nicht gedankenlos und unvorsichtig eingesetzt werden. Wir setzen uns für einen reflektierten, transparenten und mit der Demokratie und den geltenden Grundrechten zu vereinbarenden Einsatz von digitalen Technologien ein. Es gibt ein paar wenige Ausnahmen, von denen wir denken, dass sie verboten werden sollten
Die automatische Gesichtserkennung und die biometrische Massenüberwachung in der Schweiz. Wir haben zu diesem Zweck gemeinsam mit Amnesty International und der Digitalen Gesellschaft die «Petition: Gesichtserkennung stoppen!» lanciert. Sie läuft noch bis Ende März. Denn der Einsatz von Gesichtserkennungssystemen breitet sich derzeit in Europa rasant aus. Auch einzelne schweizerische Polizeikräfte setzen bereits auf automatisierte Gesichtserkennungssoftware, ohne dass sie sich hierfür auf eine Gesetzesgrundlage stützen könnten. Wir sollten jedoch das Recht haben, uns frei und unerkannt im öffentlichen Raum zu bewegen. Damit dies auch in Zukunft möglich ist, braucht es geeignete Gesetze (sie zum Thema weitere Infos rund um die Problematik zur automatischen Gesichtserkennung).
Ja, genau. Wie eben geschildert braucht es für bestimmte Technologien gesetzliche Verbote. Ganz allgemein ist beim Einsatz und bei der Funktionsweise automatisierter Entscheidungssysteme mehr Transparenz notwendig.
Wenn ein Algorithmus für eine Bank meine Kreditwürdigkeit beurteilt, will ich schon wissen, wie der Entscheid zustande kommt. Oder wie können wir gewährleisten, dass automatisierte Entscheidungssysteme in der öffentlichen Verwaltung vertrauenswürdig eingesetzt werden? Dieser Frage sind wir in einem wissenschaftliches Projekt (in Zusammenarbeit mit der juristischen Fakultät der Universität Basel und im Auftrag des Kantons Zürich) im Zeitraum August 2020 bis Februar 2021 nachgegangen. Wir kamen zum Ergebnis, dass eine vertrauensbildende Massnahme in diesem Bereich wäre, wenn ein öffentliches Register erstellt würde, wo überall in der öffentlichen Verwaltung Algorithmen eingesetzt werden. So könnten Bürgerinnen und Bürger z.B. herausfinden, ob ihre Steuererklärung noch von einer Person bearbeitet wird oder von einem Algorithmus.
Ausschliessen kann man nichts. Stand heute jedoch ist klar, dass es so etwas wie eine menschenähnliche künstliche Intelligenz nicht gibt und auch in absehbarer Zeit nicht geben wird. So oder so müssen wir HEUTE fragen, welchen Regulierungsbedarf wir hinsichtlich der Digitalisierung und der künstlichen Intelligenz haben. Die Politik muss proaktiv vorgehen und bestimmen, welche Gesetze wir benötigen und welche Schranken und roten Linien wir aufstellen wollen. AlgorithmWatch Schweiz hat ein Positionspapier zur Regulierung von KI-Systemen in der Schweiz mitverfasst.
Die rechtliche Erfassung der Herausforderungen des Einsatzes von algorithmischen Systemen dient zwei gleichwertigen Zielen: Zum einen soll die Regelung möglichst viel Raum für die Entwicklung und Verwendung von algorithmischen Systemen belassen, die für Einzelne und die Gesellschaft einen Nutzen schaffen. Zum andern ist sicherzustellen, dass die von der Verwendung von algorithmischen Systemen betroffenen Personen und die Gesellschaft als Ganzes aus diesen Verwendungen keine Nachteile erleiden, dass also bspw. betroffene Personen nicht diskriminiert, Volksabstimmungen nicht manipuliert und rechtsstaatliche Prinzipien nicht untergraben werden.
Anna Mätzener ist Leiterin von AlgorithmWatch Schweiz. Sie ist promovierte Mathematikerin mit den Nebenfächern Philosophie und italienische Sprachwissenschaften und hat an der Universität Zürich studiert. Vor ihrer Tätigkeit bei AlgorithmWatch Schweiz war sie Programmplanerin für Mathematik und Wissenschaftsgeschichte in einem internationalen Wissenschaftsverlag und zuletzt Mathematik-Lehrerin an einem Gymnasium in Zürich.
Beiträge für AlgorithmWatch u.a.: Algorithmen als Spiegel der Gesellschaft: Wie Machtstrukturen und Ungerechtigkeiten Eingang in automatisierte Entscheidungsprozesse finden: Ein Überblick und Lösungsansätze.