Es wird eine Zeit geben, vielleicht in 100 Jahren oder schon früher, wo man auf die heutige Zeit zurückschauen und sich darüber an den Kopf greifen wird, wie irrsinnig wir sein konnten, die Macht der Computer völlig falsch zu nutzen. Einige Ereignisse und ihre Entscheidungsträger werden dabei ganz besonders in die Geschichte eingehen. So für Österreich vielleicht das Arbeitsmarktservice (AMS), das letzte Woche endgültig entschieden hat, ein Computerprogramm ausrechnen zu lassen, ob man einem arbeitsuchenden Menschen noch hilft oder nicht.

Warum ist das AMS-Programm ethisch fragwürdig?

Unser modernes Denken glaubt, dass man alles, was lebt, vermessen und mathematisch modellieren kann; ja, das Schicksal vielleicht sogar ausrechnen kann. Ein Traum menschlicher Macht. Und zugleich ein Albtraum, wenn Menschen mit Computermacht dieser Tage dabei sind, ihn in die Tat umzusetzen, und anfangen, die Digitalisierung dafür zu nutzen, das Schicksal anderer auszurechnen.

Wie gut unsere heutigen Big-Data-basierten Computersysteme in der Lage sind, auf den einzelnen Menschen bezogene "Fakten" zu errechnen, das sieht man ganz banal, wenn man als Internetnutzer Werbung erhält. Oft ist man erstaunt, wie zielgenau die Werbung ist, die einem angezeigt wird. Computersysteme wissen heute wirklich viel über uns. Aber nicht selten lächelt man auch darüber, wie falsch die Werbung sein kann: Gerade wurde zum zehnten Mal das Auto angeboten, das man scheußlich findet, und außerdem hat man sich den neuen Wagen doch schon vor drei Monaten gekauft.

Wenn man sich diese Genauigkeit der heutigen Werbesysteme ansieht, erhält man einen Eindruck davon, was die mächtigsten Maschinen der Welt heute leisten können. Oft liegen sie falsch. Aber wen stört das schon? Für uns Nutzer hat es keine persönlich negativen Folgen, wenn Werbung falsch liegt. Aber wenn man als Arbeitsuchender falsch klassifiziert wird? Dann hat das durchaus Konsequenzen. Dann sind Fehlerraten kein Spaß mehr.

Hat das AMS also bessere Computersysteme oder eine Art "Super-Künstliche-Intelligenz", die besser rechnet als die mächtigsten Werbenetze unserer Zeit? Ich hoffe doch sehr, denn wenn die Einschätzung über das Schicksal von einzelnen Arbeitssuchenden so zielgenau danebenliegen kann wie die Einschätzung davon, welches Produkt uns als nächstes interessiert, dann gute Nacht, Marie. Der gegenwärtig mir bekannte Stand der Technik gibt es nicht her, verlässlich über einzelne Personen mit solcher Präzision zu urteilen, dass man darauf die weitere Förderung durch den Staat basieren dürfte.¹

Die Würde des Menschen und menschlicher Ausschuss

Neben der fragwürdigen technischen Reife sollte uns noch eine weitere Frage beschäftigen: dass nämlich die AMS-KI und überhaupt jeder Einsatz heutiger KI gegen einzelne Menschen sich nicht mit unserem Verständnis von Menschenwürde vereinbaren lassen. Warum? Weil Würde das ist, was wir seit der Aufklärung jedem einzelnen menschlichen Individuum zusprechen. Jeder Einzelne, selbst ein Verbrecher, hat das Recht auf einen Prozess. Jeder Mensch wird als individuelles, respektables Wesen gesehen. Jeder Bürger legt heute das Vertrauen in den Staat, als Person gesehen und fair behandelt zu werden. Diese Bedeutung des Einzelschicksals wird jedoch durch KI-Systeme aufgehoben. Warum? Weil KIs auf Basis von Mustern arbeiten. Sie basieren ihre Entscheidungen auf Regeln. Sie fassen also Menschen in Gruppen zusammen; ordnen sie Clustern zu.

Böse gesprochen könnte man sagen: KIs stecken Menschen in Schubladen auf Basis von Regeln, die sie aus einer großen Grundgesamtheit von Daten abgeleitet haben. Zum Beispiel die Regel des AMS-Systems, dass Frauen mit Betreuungspflichten eher in die Gruppe der Nichtvermittelbaren gehören. Frauen sind im AMS-System dieser allgemeinen Regel unterworfen. Aber was, wenn die einzelne junge Frau mit ihren sieben Kindern eine ganz vitale Frau ist, die es durchaus verdienen würde, vermittelt zu werden? Man denke nur an Frau van der Leyen mit ihren sieben Kindern! Sie wäre vom AMS-Algorithmus wahrscheinlich als Erste benachteiligt worden. Die Würde des Menschen bedeutet, dass wir jeden Einzelnen ansehen; dass wir ihre oder seine individuelle Vitalität, Emotionalität, Lebenslage und Gesundheit ansehen, würdigen und dann entscheiden, wie wir uns ihm oder ihr gegenüber verhalten.

Wenn nun der AMS-Algorithmus bei x Personen eine falsche Zuordnung zu einer schlechten Gruppe vornimmt, was passiert dann mit genau diesen Einzelschicksalen, die in dieser Gruppe falsch gelandet sind? Betrachtet man diese Menschen dann als "Ausschuss"? Als hinzunehmenden Kollateralschaden von etwas, das man neblig als "Fortschritt" bezeichnet? Wie müssen sich diese Menschen fühlen, über die ein Algorithmus sagt: Du da, du bist nichts wert! Würde das AMS pauschal dem Urteil seiner magischen KI-Maschine vertrauen und den "Ausschuss" an falsch berechneten Schicksalen als "Kollateralschaden" hinnehmen, dann würde die Institution wirklich diametral der Menschenwürde zuwiderhandeln.

Das AMS sieht seine Sachbearbeiter in der Verantwortung

Das AMS hält dem zu Recht entgegen, dass Kollateralschaden nicht entsteht. Man habe immer noch einen AMS-Sachbearbeiter dazwischen, der die schlechte Nachricht überbringt. Aber hier ist nun die Gretchenfragen: Welche Informationen und Freiheitsgrade bekommt der AMS-Sachbearbeiter, um die Entscheidung der Maschine zu missachten – also selbst das Urteil zu fällen? Aus Experimenten wissen wir seit langem, dass Menschen Maschinenurteile meistens für die objektiveren und richtigeren halten.

Fast jeder, der sich nicht mit Informatik auskennt, denkt, dass man Maschinen voll vertrauen darf. Aber das ist, wie am Werbebeispiel gezeigt, sehr oft nicht weise. Maschinen machen ihre eigenen Fehler! Und das nicht zu knapp, wie ich in meinem Buch "Digitale Ethik" sehr genau beschrieben habe. Was hat das AMS also vorbereitet, um diese Fehlerwahrscheinlichkeit seines KI-Algorithmus den eigenen Sachbearbeitern anzuzeigen? Wie gut verstehen die AMS-Sachbearbeiter die Einzelheiten der neuen KI-Logik, um deren Vorschläge zu hinterfragen? Werden AMS-Mitarbeiter dazu ermutigt, dass sie der neuen hauseigenen "Super-KI" widersprechen und der jungen Mutter vor ihnen doch helfen, selbst wenn der Algorithmus das nicht empfiehlt?

Ich hoffe, das AMS hat sehr gute Antworten auf diese Fragen, ebenso wie eine astreine Datenqualität legitim gesammelter Daten, weil es sonst nämlich in der Tat Gefahr läuft, sich einer würdelosen Entwicklung zu unterwerfen, die die amerikanische Mathematikerin Cathy O'Neil in ihrem kürzlich erschienen Bestseller als das beschrieben hat, um was es sich hier handelt: einen "Angriff der Algorithmen" durch falsche Digitalisierung.

Was heißt "falsche" Digitalisierung?

Beim Lesen dieser Kritik am AMS denken Sie, liebe Leser, sicherlich sofort, dass ich, Sarah Spiekermann, eine Digitalisierungsgegnerin sein muss. Stimmt nicht. Ich wünsche mir nur, dass Digitalisierung für die richtigen Zwecke eingesetzt wird und nicht für die falschen. Das AMS besitzt sicherlich einen sehr reichen, über die Zeit gewachsenen Schatz an Daten über arbeitsuchende Menschen. Diese Daten sind eine Fundgrube an potenziellem Wissen über unsere Sozialsysteme. Würde das AMS diese Daten erkunden, verfeinern und ausbauen, könnte ein sicherlich ungeheuer reiches Wissen geschaffen werden. Wissen darüber, was Menschen zu Arbeit bewegt, in Arbeit hält, zu Arbeit bringt. Auch wäre für das AMS wichtig zu wissen, ob es bei den eigenen Sachbearbeitern Vorurteile und Unterschiede gibt. Aggregiert könnte solches Wissen (zum Beispiel über Vorurteile) den AMS-Mitarbeitern in Schulungen nahegebracht werden, um deren Leistung zu verbessern und Intuition zu schulen.

Die digitale Transformation könnte also zutiefst positiv im Sinne des Wissens, des Lernens und Schulens des eigenen Personals genutzt werden. Stattdessen tut man das, was ich "falsche" Digitalisierung nenne. Man delegiert das Denken und Lernen und eigentliche Entscheiden an eine Maschine. Man betreibt "machine learning" statt "human learning". Am Ende steht ein komplexes Datenmodell, das vielleicht nur noch der Drittdienstleister der AMS-KI-Synthesisforschung versteht, während das AMS und seine Mitarbeiter nur noch "Durchreicher" von Maschinenentscheidungen sind. Solch eine Entwicklung sehe ich als falsch an, denn nicht nur sind heutige KIs technisch zu fehlerbehaftet für solche Jobs. Auch fehlt ihnen die Fähigkeit zu Intuition, Sympathie, Empathie, Vertrauen und wahrem Lernen durch emotionales und kulturelles Gedächtnis, die nur wir Menschen haben – und in solch sensiblen Lebensbereichen auch brauchen. (Sarah Spiekermann, 23.9.2019)

¹ Siehe etwa: S. Lapuschkin, S. Wäldchen, A. Binder, G. Montavon, W. Samek, K. Müller, Unmasking Clever Hans Predictors and Assessing What Machines Really Learn Nature Communications, 2019; https://www.nature.com/articles/s41467-019-08987-4 oder https://www.technologyreview.com/s/607955/inspecting-algorithms-for-bias/