Mikkel Freltoft Krogsholm
Menü

A mind, not a brand.

AI · mennesker · fremtidKøbenhavn · Danmark
Essay
11 Min. Lesezeit

Die Macht vor dem Knopf

KI kann Macht von der sichtbaren Entscheidung auf die Auswahl der Möglichkeiten und die Erzählung verlagern, die eine Wahl natürlich erscheinen lässt.

Mikkel Krogsholm trækker et mørkt forhæng væk i et cirkulært beslutningsrum, hvor kun tre stole er gjort synlige.

Am Morgen des 28. Februar wollte Sobhan Sportsocken in der Schule tragen. Seine Mutter sagte nein und suchte ein Paar heraus, das ihrer Meinung nach besser passte. Später waren die Socken das Einzige, woran sie seinen Körper erkennen konnte.

So beginnt der Artikel von Jyllands-Posten über den Angriff auf die Grundschule Shajareh Tayyebeh in Minab im Süden Irans. Zwei amerikanische Tomahawk-Raketen trafen die Schule. Mehr als 150 Menschen wurden getötet, darunter mindestens 123 Kinder.

Bloomberg hat den Weg bis zum Angriff rekonstruiert und dafür mehr als zwei Dutzend amtierende und ehemalige US-Beamte interviewt, darunter Personen mit Kenntnis der noch unveröffentlichten Untersuchung des Pentagons. Ihre Darstellung ist nicht die Geschichte einer Maschine, die allein beschloss, eine Schule zu bombardieren. Sie ist beunruhigender, weil Menschen und Maschinen bei jedem Schritt miteinander verflochten waren.

Das Schulgelände war früher Teil eines militärischen Areals gewesen, und die amerikanische Zieldatenbank führte den Ort weiterhin als Anlage der Revolutionsgarde. Kommerzielle Satellitenbilder zeigten jedoch bereits 2017, dass Mauern und getrennte Eingänge die Schule von der Basis abgrenzten. Auf Bildern von 2018 waren bunte Wände, ein Fußballplatz und Markierungen für Kinderspiele zu sehen. Ein Analyst erfasste die Veränderungen 2019, doch die Notiz landete in einem System, das nicht mit der für die Zielauswahl verwendeten Datenbank verbunden war.

Die alte Klassifizierung wurde zusammen mit anderen möglichen Zielen in Palantirs KI-gestütztes Maven Smart System eingespeist. Die Schule erschien als empfohlenes Ziel für den ersten Kriegstag. Einige Nutzer erwarteten laut Bloomberg, Maven werde veraltete Angaben und Widersprüche selbst erkennen, obwohl das System dafür nicht gebaut war. Arbeit, die früher Stunden gedauert hatte, konnte nun in Minuten erledigt werden, während die USA in den ersten 24 Stunden mehr als tausend iranische Ziele angriffen.

Palantir weist zurück, für die zugrunde liegenden Daten oder Mängel der Nachrichtengewinnung verantwortlich zu sein. Es wurde auch kein Beleg veröffentlicht, dass die Software technisch versagte. Diese Unterscheidung ist wichtig. Maven erfand die alte Klassifizierung nicht. Das System machte sie schnell, kohärent und handlungsbereit.

Wir sprechen oft von human in the loop, als löse die bloße Anwesenheit eines Menschen das Problem. Ein Mensch sieht den Vorschlag der Maschine, nimmt die letzte Bewertung vor und drückt den Knopf. Damit ist die Entscheidung menschlich, und die Verantwortung hat einen Ort.

Das klingt beruhigend. Es beruht nur auf einem sehr engen Verständnis von Macht.

Die Hand, die wir sehen können

Der amerikanische Politikwissenschaftler Robert Dahl formulierte 1957 eine einfache Vorstellung von Macht: A hat Macht über B, wenn A B dazu bringen kann, etwas zu tun, das B sonst nicht getan hätte. Das ist sichtbare Macht. Jemand will etwas, ein anderer widersetzt sich, und am Ende können wir sehen, wer sich durchgesetzt hat.

Auf einem Schlachtfeld lenkt dieses Verständnis unseren Blick fast automatisch auf die letzte Entscheidung. Wer genehmigte den Angriff? Wer gab den Befehl? Wer drückte den Knopf?

Die unabhängige Untersuchungskommission der Vereinten Nationen sah hinreichende Gründe für die Annahme, dass der Angriff ein Kriegsverbrechen darstellte. Die USA hätten nicht alles praktisch Mögliche getan, um festzustellen, ob die Schule ein militärisches Ziel war; das Versäumnis ging der Kommission zufolge über einfache Fahrlässigkeit hinaus.

Das sind wichtige Fragen. Ein Militär kann seine Verantwortung nicht abwaschen, indem es auf einen Computer zeigt. Das Modell hat sich nicht zum Dienst gemeldet, die Ziele des Krieges gewählt oder sich selbst Zugang zu Waffen verschafft. Menschen haben das System gebaut, die Daten ausgewählt, die Verfahren festgelegt und entschieden, dass es eingesetzt werden sollte.

Dennoch kann die sichtbare Hand uns dazu verleiten, alles zu übersehen, was geschah, bevor sie sich bewegte. In Minab genehmigten und vollzogen Menschen den Angriff. Doch das Ziel, das sie sahen, war bereits durch Datenbanken, Satellitenbilder, getrennte IT-Systeme, eine algorithmische Rangfolge und einen auf extreme Geschwindigkeit ausgerichteten Arbeitsablauf entstanden.

Wenn ein Modell mehr Bilder, Telefondaten, Bewegungsmuster und Geheimdienstinformationen sortieren kann, als ein Mensch je prüfen könnte, ist sein wichtigster Beitrag vielleicht nicht die Antwort. Es ist womöglich die Auswahl der Fragen, die der Mensch anschließend überhaupt beantworten darf.

Die Macht über die Liste

Wenige Jahre nach Dahl wiesen Peter Bachrach und Morton Baratz auf das zweite Gesicht der Macht hin. Macht zeigt sich nicht nur in Konflikten, die wir sehen können. Sie liegt auch in der Fähigkeit zu bestimmen, welche Themen überhaupt auf die Tagesordnung gelangen.

Wer die Tagesordnung einer Sitzung schreibt, hat nicht unbedingt das letzte Wort. Kann diese Person aber bestimmte Probleme und Vorschläge aus dem Raum halten, ist vieles bereits entschieden, bevor die Diskussion beginnt.

KI macht diese Form der Macht enorm skalierbar. Ein Modell kann eine Materialmenge prüfen, für die Tausende Stunden menschlicher Arbeit nötig wären, und sie auf eine kurze Liste reduzieren. Das kann ein großer Gewinn sein. Es kann Verbindungen finden, die wir übersehen, Gefahren früher erkennen und auf Alternativen aufmerksam machen, die menschliche Gewohnheiten oder Vorurteile draußen gehalten haben.

Doch dieselbe Fähigkeit kann die Welt verengen. Wenn das System filtert, ordnet und empfiehlt, bestimmt es auch, was nicht gesehen wird. Kommt der Mensch erst nach der Sortierung hinzu, hat die Maschine bereits an der Tagesordnung mitgewirkt.

Das gilt nicht nur für Bombenziele. Eine Ärztin sieht die Diagnosen, die das System für am wahrscheinlichsten hält. Ein Bankberater sieht die Kunden, die das Modell als riskant markiert hat. Eine Personalchefin sieht die Bewerber, die durch die automatische Sortierung gelangten. Ein Minister sieht die Zusammenfassung Tausender Stellungnahmen. In allen vier Fällen kann ein Mensch die formale Entscheidung treffen und zugleich von großen Teilen des Materials abgeschnitten sein, auf dem sie beruht.

Das verändert die Bedeutung des Wählens. Es ist ein Unterschied, ob man zwischen Möglichkeiten wählt oder Einfluss darauf hat, welche Möglichkeiten überhaupt vor einem liegen.

Das dritte Gesicht

Steven Lukes führte die Machtanalyse einen Schritt weiter. Macht kann auch unseren Blick auf die Welt formen: unsere Vorstellung davon, was natürlich, realistisch und in unserem eigenen Interesse ist. Die stärkste Macht muss keinen Konflikt gewinnen. Sie kann mitbestimmen, welche Konflikte wir überhaupt erkennen können. Hier wird KI mehr als eine Sortiermaschine.

Ein System zeigt selten nur Rohdaten. Es gibt ihnen Namen, Kategorien und Wahrscheinlichkeiten. Eine Person kann als hohes Risiko erscheinen. Ein Gebäude kann wie ein wahrscheinliches Ziel wirken. Eine Erklärung kann als besonders relevant markiert werden. Die Worte können technisch präzise sein, doch sie schaffen zugleich eine Erzählung über die Situation: Wer stellt das Problem dar? Was gilt als Beweis? Welche Handlung erscheint vernünftig?

Wenn eine Zahl auf einem Bildschirm steht, bekommt sie leicht den Charakter eines Fundes in der Welt. Doch die Zahl ist das Ergebnis einer langen Kette menschlicher und maschineller Entscheidungen. Jemand hat bestimmt, welche Daten zählen. Jemand hat das Ziel des Systems formuliert. Jemand hat gewählt, welche Fehler am teuersten sind und welche hingenommen werden können. Das Modell hat innerhalb dieses Rahmens Muster gelernt und in eine Rangfolge übersetzt, die wiederum den menschlichen Blick beeinflusst.

KI braucht keinen eigenen politischen Willen, um so zu wirken. Wenn ich sage, dass KI Macht bekommen kann, meine ich daher nicht unbedingt, dass das Modell mit eigenen Interessen erwacht. Die Macht liegt im gesamten Kreislauf zwischen Daten, Modell, Benutzeroberfläche, Institution und Mensch. KI kann ein Instrument der Macht sein, aber auch eine eigenständige Funktion in diesem Kreislauf übernehmen, weil ihre Auswahl und Formulierung zu etwas wird, woran Menschen ihr Handeln ausrichten.

Ich glaube nicht, dass wir die Frage ein für alle Mal entscheiden können, indem wir KI entweder Werkzeug oder Machthaber nennen. Sie kann beides sein. Es hängt von der Verwendung ab und davon, wie viel von unserem eigenen Urteil wir ihr überlassen.

Kritik verlangt mehr als Misstrauen

Es ist leicht zu folgern, wir müssten KI einfach kritisch nutzen. Die Antwort gründlich lesen. Die Quellen prüfen. Daran denken, dass das Modell irren kann.

Das Problem ist, dass unkritische Nutzung nicht nur aus Bequemlichkeit oder mangelnder Ausbildung entsteht. Automatisierte Systeme verändern die Situation, in der wir Entscheidungen treffen.

Die Forscher Raja Parasuraman und Dietrich Manzey werteten 2010 die Forschung zum Automation Bias aus. Sie stellten fest, dass Menschen Probleme übersehen können, vor denen das System nicht warnt, und fehlerhaften Empfehlungen folgen. Das betraf Anfänger ebenso wie Experten und ließ sich nicht durch die einfache Anweisung beseitigen, aufmerksam zu sein.

Das ist nachvollziehbar. Wenn ein System schnell ist und meistens recht hat, wird es rational, ihm zu vertrauen. Ist zugleich der Arbeitsdruck hoch, wird es teuer, alles von Grund auf zu prüfen. Der menschliche Kontrolleur kann zum langsamsten Teil eines auf Geschwindigkeit ausgelegten Prozesses werden, und jede Ablehnung verlangt mehr Erklärung als jede Zustimmung.

Minab zeigt, wie dies organisatorisch werden kann. Die für die Begrenzung ziviler Opfer zuständige Personalausstattung des Pentagons war laut Bloombergs Quellen um rund 90 Prozent gekürzt worden; beim zuständigen Central Command war die Gruppe von zehn Personen auf eine reduziert worden. Kein Spezialist für zivile Schäden prüfte die Schule, bevor die Raketen abgefeuert wurden. Das Prinzip human in the loop war auf dem Papier weiterhin erfüllt, doch ein Teil der Menschen, die das Ergebnis hätten anfechten sollen, war aus dem Prozess entfernt worden.

Die KI-Verordnung der EU versucht, menschliche Aufsicht konkreter zu machen. Bei Hochrisikosystemen muss die verantwortliche Person unter anderem die Grenzen des Systems verstehen, seine Ausgabe interpretieren, sich des Automation Bias bewusst sein und das System überstimmen oder stoppen können. Die Regeln gelten nicht für militärische Waffensysteme, weisen aber auf etwas Allgemeines hin: Ein Mensch hat nicht allein deshalb echte Kontrolle, weil er sich in der Nähe einer Entscheidung befindet.

Das Internationale Komitee vom Roten Kreuz weist entsprechend darauf hin, dass menschliche Kontrolle über autonome Waffen konkrete Begrenzungen unter anderem bei Zieltyp, Zeit, Geografie und Maßstab sowie die Möglichkeit rechtzeitiger Intervention und Deaktivierung verlangt. Anwesenheit ist nicht dasselbe wie Kontrolle.

Kontrolle verlangt Zeit, um die Grundlage zu prüfen. Zugang zu dem, was das System aussortierte. Die Befugnis, Nein zu sagen. Die Möglichkeit, den Prozess zu stoppen, ohne für die Verzögerung bestraft zu werden. Und eine Verantwortungsspur, die sichtbar macht, wer Ziel, Daten, Modell und Grenzen auswählte.

Ich habe bereits über den Unterschied geschrieben, KI als Kran zu verwenden, der die Arbeit übernimmt, oder als Spotter, der dem Menschen hilft, selbst besser zu werden. Auch dieser Unterschied handelt von Macht. Der kritische Nutzer bittet nicht nur um eine Antwort, sondern verwendet die Maschine, um den eigenen Blick zu erweitern und das erste Verständnis infrage zu stellen. Der unkritische Nutzer kann eine ausgezeichnete Antwort bekommen und zugleich das Gespür dafür verlieren, wie die Frage eingegrenzt wurde.

Der Erzähler auf der anderen Seite

Yuval Noah Harari hat Sprache als Betriebssystem der menschlichen Zivilisation beschrieben. Geld, Nationen, Unternehmen und Gesetze können Millionen Menschen organisieren, weil wir Erzählungen über Dinge teilen können, die in der Natur nicht auf dieselbe Weise existieren wie Steine und Bäume.

In einem Vortrag über KI und die Zukunft der Menschheit sagt er, KI habe mit ihrer Beherrschung der Sprache einen Generalschlüssel zu unseren Institutionen bekommen. Seine Sorge ist nicht nur, dass die Maschine falsche Geschichten verbreiten kann. Sie kann Erzählungen schaffen und anpassen, unsere Schwächen kennenlernen und eine Form künstlicher Intimität aufbauen, die Beeinflussung persönlich macht.

Ich habe diesen Gedanken bereits in Schrödingers KI untersucht. Menschen bauen Gesellschaften mit Erzählungen über Hoffnung, Gefahr und das gute Leben, und KI kann nun an der Produktion der Geschichten über ihre eigene Zukunft teilnehmen. In Als die Erzählungen Hände bekamen ging die Erzählung noch einen Schritt weiter: Der Agent konnte die Welt nicht nur beschreiben, sondern auf Grundlage seiner Beschreibung handeln.

Die drei Gesichter der Macht zeigen, was zwischen diesen beiden Bewegungen geschieht.

Zuerst hilft KI dabei, eine Entscheidung zu treffen. Dann bestimmt sie, welche Entscheidungen auf den Tisch kommen. Schließlich prägt sie die Sprache mit, in der wir verstehen, was auf dem Tisch liegt und warum es vernünftig erscheint.

Das bedeutet nicht, dass jedes Gespräch mit einem Chatbot versteckte Manipulation ist. KI kann uns klüger machen, Gegenargumente zeigen und Perspektiven eröffnen, die wir selbst nicht gefunden hätten. Ich nutze sie selbst als Denkpartnerin. Doch diese Möglichkeit hängt davon ab, ob das Gespräch meinen Blick erweitert oder lediglich eine überzeugendere Fassung der ersten Erzählung liefert.

Bei unkritischer Nutzung darf KI sehr viel für uns definieren. Sie muss nicht befehlen. Es genügt, dass ihre Antwort zum Ausgangspunkt wird, ihre Kategorien zu unseren Kategorien werden und ihre Auslassungen so geräuschlos verschwinden, dass wir sie nicht bemerken.

Der Weg zum Knopf

Eine Entscheidung beginnt nicht, wenn sich ein Finger bewegt.

Sie beginnt, wenn etwas in der Welt als relevant registriert wird. Sie setzt sich fort, wenn Daten gesammelt, Kategorien gewählt, Möglichkeiten sortiert und eine bestimmte Erklärung für denjenigen sichtbar gemacht wird, der am Ende handeln soll.

Auf dem Bildschirm kann der Mensch weiterhin als letzte Autorität erscheinen. Kann er aber nicht sehen, was das System verworfen hat, die Erzählung hinter der Rangfolge verstehen oder sich der Empfehlung tatsächlich widersetzen, ist der Mensch vielleicht nur das letzte Glied einer Entscheidung, deren wichtigste Teile bereits getroffen wurden.

Sobhans Socken sagen nichts über Algorithmen. Sie erzählen, was auf der anderen Seite unserer abstrakten Worte über Ziele, Wahrscheinlichkeiten und Entscheidungshilfe steht. Ein System kann eine Schule als Punkt in einem Strom von Signalen verarbeiten. Für die Familie war sie ein Morgen, ein Streit über Kleidung und ein Kind, das wieder nach Hause kommen sollte.

Menschliche Verantwortung liegt deshalb nicht nur im Recht, den Knopf zu drücken oder es zu lassen. Sie liegt in der Macht über den gesamten Weg bis zum Knopf: was wir sichtbar machen, was wir verschwinden lassen und welche Geschichte die letzte Handlung wie die natürliche Wahl aussehen lässt.

Quellen und weiterführende Lektüre