Rationalisierung

"Im US-Bundesstaat Michigan bezichtigte ein Computerprogramm zwischen 2013 und 2015 über 34.000 Bürger zu Unrecht des Sozialhilfebetrugs. Das Verheerende: Die Entscheidungen des Algorithmus hatte niemand überprüft, die zuständige Behörde hatte zuvor 400 Mitarbeiter entlassen. Anwälten zufolge meldeten mehr als 1000 Menschen aufgrund der erdrückenden Nachzahlungsforderungen Privatinsolvenz an. Bis heute ist unklar, wie es dazu kommen konnte. [...]
Algorithmen lernen anhand von großen Datenmengen. Doch diese Daten sind in der Regel historisch. Was die Algorithmen über die Zukunft sagen, beruht also in Wahrheit auf der Vergangenheit. Das kann dazu führen, dass sich historische Benachteiligungen fortschreiben.
In Österreich zeigt sich das gerade. Dort haben es behinderte Menschen, über 50-Jährige und Frauen mit kleinen Kindern bei der Jobsuche wie in den meisten Ländern schwerer. Der Algorithmus des AMS berücksichtigt das, indem er ihnen, vereinfacht gesagt, Minuspunkte gibt. Das ist zwar faktisch richtig, aber dennoch problematisch. Die österreichische Behörde räumt das selbst ein: "Vorurteile und Klischees, die sich real am Arbeitsmarkt zeigen, finden sich daher auch im Arbeitsmarktchancen-Assistenz-System wieder", heißt es in einem Statement. Wenn diejenigen, die geringere Chancen haben, dann auch noch schlechter betreut werden, setzt das eine Spirale in Gang, aus der die Betroffenen nur schwer entkommen können.
Johannes Kopf, der Behördenleiter, weist dies zurück: Frauen, Ältere und Behinderte würden nicht diskriminiert, weil das AMS sie mit Sonderprogrammen fördere. Er sagt: "Die Wahl der richtigen Betreuung liegt beim Berater." Die Mitarbeiter könnten das Urteil der Algorithmen also jederzeit revidieren.
Aber tun sie das? Die polnische Verwaltung nutzt ein sehr ähnliches System wie die österreichische. Dort widersprechen die Behördenmitarbeiter dem Computerprogramm nur in einem von 100 Fällen, wie Untersuchungen zeigten. Forscher nennen dieses Phänomen Algorithm Bias, vorauseilenden Gehorsam gegenüber Maschinen. "Wenn Sie Sachbearbeiter sind und die Entscheidung eines Algorithmus anzweifeln, sind Sie in Rechtfertigungszwang", sagt Judith Simon, Technikphilosophin und Mitglied der Datenethikkommission der Bundesregierung."
https://www.zeit.de/2019/44/algorithmen-software-diskriminierung-arbeitsmarkt-assistenz-system/komplettansicht (Hervorhebungen von mir.)

Wenn man sich an messbaren Daten orientiert, hat man den Vorzug, sich jederzeit rechtfertigen zu können. Bei einem Deutschaufsatz aber Punkte für die Zahl der Rechtschreib-, Interpunktions- und Grammatikfehler zu vergeben, wäre grotesk.
Wenn man aber eine Stilnote gäbe, wäre die notgedrungen subjektiv, ebenso eine Beurteilen der Qualität der Argumentation. Außerdem müsste die Gewichtung von Stil und Argumentationsqualität im Verhältnis zu sprachlicher Richtigkeit von vornherein festgelegt sein.
Angesichts der Schwierigkeit der Entscheidung der Gewichtung von inkommensurablen Einzelaspekten wird man also auf die Maschinenbeurteilung ausweichen und sich daruf stützen.