unsurv.org

exposing surveillance

Die Mär vom Menschen als Korrektiv

de / en

16 Jul, 2020

“Durch einen bedauerlichen Softwarefehler…” - wenn diese Worte fallen ist einiges schief gelaufen. Es wurden viele Menschen nicht weißer Hautfarbe zu Unrecht angehalten? - möglich; Krankenkassenbeitrag ohne ersichtlichen Grund verdoppelt? - vielleicht war der intelligente Stromzähler fehlerhaft. Die PR-Abteilung möchte noch einmal klarstellen: der Fehler war unvermeidbar, niemand hätte ihn erahnen können. Doch wie neusprech.org schön erklärt, bedeutet es eigentlich das Gegenteil. Wir werden uns leider auch an diese Phrase und deren Ursachen gewöhnen. Bevor wir aber in Zukunft noch mehr Entscheidungen an Algorithmen abgeben, versuchen wir uns heute noch ein wenig zu beruhigen. "Es entscheidet nicht die Maschine, es entscheidet der Mensch” versichert uns der baden-württembergische Innenminister zur Verhaltenserkennung per Videoüberwachung in Mannheim. Doch wie gut funktioniert der Mensch als Korrektiv einer computergestützten Entscheidung?

Die Einführung von Entscheidungsalgorithmen beruht meist auf einer Vervielfachung der zu verarbeitenden Datenmengen. Die händische Auswertung wird damit zu teuer. Der Abschlussbericht zur biometrischen Videoüberwachung am Berliner Südkreuz führt aus: die Auswertung von Videoüberwachung sei monoton, ermüdend (S. 37) und nur mit großem Aufwand möglich und man benötige deswegen eine automatische Auswertungssoftware.

Diese neue Art der Automatisierung dient also meist der Kostensenkung, Beschleunigung oder Vereinfachung von bestehenden Prozessen. Im Zusammenspiel von Zeit- und Kostendruck bleibt oft nur noch Qualität als Stellschraube übrig. Besonders im polizeilichen Hintergrund darf diese aber nicht vernachlässigt werden. Ein Beispiel:

Würde das Pilotprojekt am Südkreuz heute in Betrieb genommen, würde es ca. 600 falsch-positive Treffer am Tag geben. Diese Zahl berücksichtigt noch nicht die Qualität der Fahndungsbilder unter realen Bedingungen, die schlechter sein werden als die im Pilotprojekt genutzten. Durch die große Tragweite möglicher Fehlentscheidungen und den anschließenden Rechtfertigungsdruck im polizeilichen Hintergrund, wird auf lange Zeit hin der Mensch als Korrektiv immer ineffektiver. Wer möchte schon in die Situation kommen, eine “Pionierarbeit made in Baden-Württemberg” (Zitat aus Mannheim) zu überstimmen, nur um am Ende selbst falsch gelegen zu haben. Der Druck der Medien, wenn eine schlimme Tat die Folge war, darf hier nicht unterschätzt werden. Es entsteht ein hoher Druck auf die verantwortliche Person, keine Fehleinschätzung zu begehen. Im Zweifel wird also lieber einmal zu viel als einmal zu wenig überprüft.

Abgesehen von äußeren Einflüssen und unmittelbaren Problemen des Pilotprojekts Südkreuz, wie eine schlechte Konzeption, nicht nachvollziehbaren Daten und verfassungsrechtlichen Bedenken im Falle der Ausweitung, kommen generelle Probleme bei der Interaktion zwischen Mensch und Maschine erschwerend hinzu. Eine im Jahr 2019 veröffentlichte Studie beschäftigt sich mit diesen Phänomenen.

Menschen neigen dazu, Computersystemen zu sehr zu vertrauen. Besonders zeigt sich dieses Problem, wenn das verwendete System relativ gute Ergebnisse zeigt. Ein Beispiel sind Fahrzeuge mit autonomen Unterstützungssystemen (Level 2). Hierbei muss der Fahrer im regulären Betrieb keine eigenen Befehle tätigen, muss aber jederzeit Eingreifen können. Die überwiegend monotone und fehlerfreie Situation während des Normalbetriebs verursacht ein zu großes Vertrauen in das System, das in Gefahrensituationen gefährlich werden kann.

Für dieses generelle Problem gibt es nur wenige Lösungsmöglichkeiten. Training, ähnlich wie Erfahrung, kann nur einen kleinen Teil zur Lösung beitragen. Wenn Entscheidungen computergestützt getroffen werden sollen, muss, laut der Studie, der Prozess sehr genau konzipiert sein, um Fehlverhalten zu vermeiden. Diese Ansätze sind:

Diese Anpassungen stehen den Gründen für die Einführung allerdings entgegen oder kreieren weitere Probleme:

Würden wir das Pilotprojekt nach den Kategorien der Studie für computergestützte Entscheidungssysteme einordnen, landen wir in der gefährlichsten Kategorie: ein relativ zuverlässiges System, dessen Ergebnisse von einem Menschen verarbeitet werden sollen. Es entsteht eine Monotonie bei der Überprüfung und zu viel Vertrauen in das System. Hier findet sich das größte Risiko für Fehlentscheidungen. In diese Kategorie fallen auch weitere Projekte, in denen ein Mensch als letzte Instanz die Entscheidung treffen soll. (Mannheim 1, Arbeitsmarktservices in Österreich 1 2).

Die beschriebenen Probleme zeigen, dass der Mensch als Korrektiv in computergestützten Entscheidungssystemen nur in sehr engen Gegebenheiten in Betracht kommen kann. Selbst wenn, arbeitet der Mensch eher neben den autonomen Teilen, kann diesen Vertrauen und muss sie nicht überprüfen.

In Anbetracht der Tatsache, dass Befugnisse immer und immer wieder ausgeweitet werden (1 2 3 4), sollten wir uns als Gesellschaft sehr genau überlegen, ob wir ein System einführen wollen, das eine allumfassende und automatisierte Überwachung des öffentlichen Raumes ermöglicht. Dieses lässt sich leicht unter dem Deckmantel der Sicherheit und per einfachem Softwareupdate von Bahnhöfen auf Innenstädte ausweiten. Sind solche Systeme einmal etabliert, ist der Rückbau nur sehr schwer möglich.