Mikkel Freltoft Krogsholm
Menu

A mind, not a brand.

AI · mennesker · fremtidKøbenhavn · Danmark
Essay
11 min. læsning

Magten før knappen

AI kan flytte magten fra den synlige beslutning til udvælgelsen af muligheder og fortællingen, der får ét valg til at se naturligt ud.

Mikkel Krogsholm trækker et mørkt forhæng væk i et cirkulært beslutningsrum, hvor kun tre stole er gjort synlige.

Morgenen den 28. februar ville Sobhan have sportsstrømper på i skole. Hans mor sagde nej og fandt et par, hun syntes passede bedre. Senere var sokkerne det eneste, hun kunne genkende hans krop på.

Sådan begynder Jyllands-Postens artikel om angrebet på Shajareh Tayyebeh-grundskolen i Minab i det sydlige Iran. To amerikanske Tomahawk-missiler ramte skolen. Over 150 mennesker blev dræbt, heriblandt mindst 123 børn.

Bloomberg har rekonstrueret vejen frem til angrebet gennem interviews med mere end to dusin nuværende og tidligere amerikanske embedsfolk, heriblandt personer med kendskab til Pentagons endnu ikke offentliggjorte undersøgelse. Deres beskrivelse er ikke historien om en maskine, der alene besluttede at bombe en skole. Den er mere foruroligende, fordi mennesker og maskiner hele tiden var viklet ind i hinanden.

Skolens grund havde tidligere været en del af et militært område, og den amerikanske måldatabase blev ved med at betegne stedet som et anlæg for Revolutionsgarden. Kommercielle satellitbilleder viste ellers allerede i 2017, at mure og separate indgange skilte skolen fra basen. På billeder fra 2018 kunne man se farvestrålende vægge, en fodboldbane og markeringer til børns leg. En analytiker registrerede ændringerne i 2019, men noten havnede i et system, der ikke var forbundet med den database, måludpegningen brugte.

Den gamle klassifikation blev ført ind i Palantirs AI-understøttede Maven Smart System sammen med andre mulige mål. Skolen kom ud som et anbefalet mål for krigens første dag. Nogle brugere forventede ifølge Bloomberg, at Maven selv ville opdage forældede oplysninger og modsigelser, selv om systemet ikke var bygget til det. Arbejde, der tidligere havde taget timer, kunne nu udføres på minutter, mens USA ramte mere end tusind iranske mål i løbet af det første døgn.

Palantir afviser, at virksomheden er ansvarlig for datagrundlaget eller manglerne i efterretningerne, og der er ikke offentliggjort bevis for, at softwaren teknisk fejlede. Det er en vigtig skelnen. Maven opfandt ikke den gamle klassifikation. Systemet gjorde den hurtig, sammenhængende og handlingsklar.

Vi taler ofte om human in the loop, som om menneskelig tilstedeværelse i sig selv løser problemet. Et menneske ser maskinens forslag, foretager den endelige vurdering og trykker på knappen. Dermed er beslutningen menneskelig, og ansvaret har et sted at bo.

Det lyder betryggende. Det bygger bare på en meget smal forståelse af magt.

Den hånd, vi kan se

Den amerikanske politolog Robert Dahl formulerede i 1957 en enkel idé om magt: A har magt over B, når A kan få B til at gøre noget, B ellers ikke ville have gjort. Det er den synlige magt. Nogen vil noget, en anden gør modstand, og til sidst kan vi se, hvem der fik sin vilje.

På en slagmark leder den forståelse næsten automatisk vores blik mod den sidste beslutning. Hvem godkendte angrebet? Hvem gav ordren? Hvem trykkede?

FN’s uafhængige undersøgelsesmission fandt rimelig grund til at tro, at angrebet udgjorde en krigsforbrydelse. USA havde ikke gjort alt praktisk muligt for at fastslå, om skolen var et militært mål, og svigtet gik ifølge missionen videre end simpel uagtsomhed.

Det er vigtige spørgsmål. Et militær kan ikke vaske sit ansvar af ved at pege på en computer. Modellen har ikke meldt sig til hæren, valgt krigens mål eller givet sig selv adgang til våbnene. Mennesker har bygget systemet, valgt data, fastlagt procedurerne og besluttet, at det skulle bruges.

Alligevel kan den synlige hånd narre os til at overse alt det, der skete, før den bevægede sig. I Minab var der mennesker, som godkendte og udførte angrebet. Men det mål, de så, var allerede blevet til gennem databaser, satellitbilleder, adskilte it-systemer, en algoritmisk rangering og en arbejdsgang indrettet til ekstrem fart.

Når en model kan sortere flere billeder, telefondata, bevægelsesmønstre og efterretninger, end et menneske nogensinde kunne gennemgå, bliver dens vigtigste bidrag måske ikke svaret. Det bliver udvalget af spørgsmål, mennesket bagefter får lov til at svare på.

Magten over listen

Få år efter Dahl pegede Peter Bachrach og Morton Baratz på magtens andet ansigt. Magt findes ikke kun i de konflikter, vi kan se. Den findes også i evnen til at bestemme, hvilke emner der overhovedet kommer på dagsordenen.

Den, der laver mødeindkaldelsen, har ikke nødvendigvis det sidste ord. Men hvis vedkommende kan holde bestemte problemer og forslag ude af lokalet, er meget allerede afgjort, før diskussionen begynder.

AI gør denne form for magt voldsomt skalerbar. En model kan gennemgå en mængde materiale, som ville kræve tusindvis af menneskers tid, og koge det ned til en kort liste. Det kan være en stor gevinst. Den kan finde forbindelser, vi overser, opdage farer tidligere og gøre opmærksom på alternativer, som menneskelige vaner eller fordomme havde holdt ude.

Men samme evne kan indsnævre verden. Når systemet filtrerer, rangerer og anbefaler, bestemmer det også, hvad der ikke bliver set. Hvis mennesket først kommer ind efter sorteringen, har maskinen allerede været med til at sætte dagsordenen.

Det gælder ikke kun bombemål. En læge ser de diagnoser, systemet vurderer som mest sandsynlige. En bankrådgiver ser de kunder, modellen har markeret som risikable. En rekrutteringschef ser de ansøgere, der kom gennem den automatiske sortering. En minister ser resuméet af tusindvis af høringssvar. I alle fire tilfælde kan et menneske træffe den formelle beslutning og samtidig være afskåret fra store dele af det materiale, beslutningen hviler på.

Det ændrer betydningen af at vælge. Der er forskel på at vælge mellem muligheder og at have indflydelse på, hvilke muligheder der findes foran en.

Det tredje ansigt

Steven Lukes førte magtanalysen et skridt videre. Magt kan også forme vores blik på verden: vores opfattelse af, hvad der er naturligt, realistisk og i vores egen interesse. Den stærkeste magt behøver ikke vinde en konflikt. Den kan være med til at afgøre, hvilke konflikter vi overhovedet kan få øje på. Her bliver AI mere end en sorteringsmaskine.

Et system viser sjældent bare rå data. Det giver dem navne, kategorier og sandsynligheder. En person kan blive præsenteret som en høj risiko. En bygning kan ligne et sandsynligt mål. En forklaring kan blive mærket som den mest relevante. Ordene kan være teknisk præcise, men de skaber også en fortælling om situationen: Hvem udgør problemet? Hvad tæller som bevis? Hvilken handling ligner den fornuftige?

Når et tal står på en skærm, får det let karakter af et fund i verden. Men tallet er resultatet af en lang kæde af menneskelige og maskinelle valg. Nogen har besluttet, hvilke data der tæller. Nogen har formuleret målet for systemet. Nogen har valgt, hvilke fejl der er dyrest, og hvilke der kan accepteres. Modellen har lært mønstre inden for den ramme og omsat dem til en rangering, som igen påvirker menneskets blik.

AI behøver ikke have en politisk vilje for at få denne virkning. Når jeg siger, at AI kan få magt, mener jeg derfor ikke nødvendigvis, at modellen vågner med egne interesser. Magten ligger i hele kredsløbet mellem data, model, grænseflade, institution og menneske. AI kan være et redskab for magt, men den kan også få en selvstændig funktion i kredsløbet, fordi dens udvælgelse og formulering bliver noget, mennesker indretter deres handlinger efter.

Jeg tror ikke, at vi kan afgøre det én gang for alle ved at kalde AI enten værktøj eller magthaver. Den kan være begge dele. Det afhænger af brugen og af, hvor meget af vores egen dømmekraft vi overlader til den.

Kritik kræver mere end mistillid

Det er nemt at slutte, at vi bare skal bruge AI kritisk. Læs svaret grundigt. Tjek kilderne. Husk, at modellen kan tage fejl.

Problemet er, at ukritisk brug ikke kun skyldes dovenskab eller manglende uddannelse. Automatiserede systemer ændrer den situation, vi træffer beslutningen i.

Forskerne Raja Parasuraman og Dietrich Manzey gennemgik i 2010 forskningen i automatiseringsbias. De fandt, at mennesker kan overse problemer, systemet ikke advarer om, og handle på fejlagtige anbefalinger, når systemet gør. Det ramte både nybegyndere og eksperter og kunne ikke fjernes med en enkel instruktion om at være opmærksom.

Det giver god mening. Hvis et system er hurtigt og oftest har ret, bliver det rationelt at stole på det. Hvis arbejdspresset samtidig er højt, bliver det dyrt at undersøge alt fra bunden. Den menneskelige kontrollant kan ende som den langsomste del af en proces, der er designet til fart, og hver afvisning kræver mere forklaring end hver godkendelse.

Minab viser, hvordan det kan blive organisatorisk. Pentagons bemanding til at begrænse civile tab var ifølge Bloombergs kilder skåret med omkring 90 procent; hos den ansvarlige centralkommando var gruppen reduceret fra ti personer til én. Ingen specialist i civile skadevirkninger gennemgik skolen, før missilerne blev affyret. Princippet om human in the loop var stadig opfyldt på papiret, men en del af de mennesker, der skulle have udfordret resultatet, var fjernet fra processen.

EU’s AI-forordning forsøger at gøre menneskeligt tilsyn mere konkret. For højrisikosystemer skal den ansvarlige blandt andet kunne forstå systemets begrænsninger, fortolke dets output, være opmærksom på automatiseringsbias og have mulighed for at tilsidesætte eller stoppe systemet. Reglerne gælder ikke militære våbensystemer, men de peger på noget alment: Et menneske har ikke reel kontrol, bare fordi det befinder sig i nærheden af en beslutning.

Den Internationale Røde Kors Komité peger tilsvarende på, at menneskelig kontrol med autonome våben kræver konkrete begrænsninger i blandt andet måltype, tid, geografi og skala samt mulighed for rettidig indgriben og deaktivering. Tilstedeværelse er ikke det samme som kontrol.

Kontrol kræver tid til at undersøge grundlaget. Adgang til det, systemet sorterede fra. Myndighed til at sige nej. Mulighed for at stoppe processen uden at blive straffet for at sinke den. Og et ansvarsspor, der gør det synligt, hvem der valgte målet, dataene, modellen og grænserne.

Jeg har tidligere skrevet om forskellen mellem at bruge AI som en kran, der overtager arbejdet, og en spotter, der hjælper mennesket med selv at blive bedre. Den forskel handler også om magt. Den kritiske bruger beder ikke kun om et svar, men bruger maskinen til at udvide sit blik og udfordre sin første forståelse. Den ukritiske bruger kan få et fremragende svar og samtidig miste fornemmelsen for, hvordan spørgsmålet blev afgrænset.

Fortælleren på den anden side

Yuval Noah Harari har beskrevet sprog som den menneskelige civilisations operativsystem. Penge, nationer, virksomheder og love kan organisere millioner af mennesker, fordi vi kan dele fortællinger om ting, der ikke findes i naturen på samme måde som sten og træer.

I en tale om AI og menneskehedens fremtid siger han, at AI med sin beherskelse af sproget har fået en hovednøgle til vores institutioner. Hans frygt er ikke kun, at maskinen kan sprede falske historier. Den kan skabe og tilpasse fortællinger, lære vores svagheder at kende og opbygge en form for kunstig intimitet, som gør påvirkningen personlig.

Jeg har tidligere undersøgt den tanke i Schrödingers AI. Mennesker bygger samfund med fortællinger om håb, fare og det gode liv, og AI kan nu deltage i produktionen af historierne om sin egen fremtid. I Da fortællingerne fik hænder tog fortællingen endnu et skridt: Agenten kunne ikke bare beskrive verden, men også handle på sin beskrivelse af den.

Magtens tre ansigter viser, hvad der sker imellem de to bevægelser.

Først hjælper AI med at træffe en beslutning. Så bestemmer den, hvilke beslutninger der kommer på bordet. Til sidst er den med til at forme det sprog, vi bruger til at forstå, hvad der er på bordet, og hvorfor det ser rimeligt ud.

Det betyder ikke, at enhver samtale med en chatbot er skjult manipulation. AI kan gøre os klogere, vise os modargumenter og åbne perspektiver, vi ikke selv havde fundet. Jeg bruger den selv som medtænker. Men den mulighed afhænger af, om samtalen gør mit blik større eller blot leverer en mere overbevisende udgave af den første fortælling.

Ved ukritisk brug får AI lov til at definere meget for os. Den behøver ikke befale. Det er nok, at dens svar bliver udgangspunktet, dens kategorier bliver vores kategorier, og dens udeladelser forsvinder så lydløst, at vi ikke opdager dem.

Vejen frem til knappen

En beslutning begynder ikke, når en finger bevæger sig.

Den begynder, når noget i verden bliver registreret som relevant. Den fortsætter, når data bliver samlet, kategorier bliver valgt, muligheder bliver sorteret, og en bestemt forklaring bliver gjort synlig for den, der til sidst skal handle.

På skærmen kan mennesket stadig stå som den sidste myndighed. Men hvis det ikke kan se, hvad systemet har fravalgt, forstå den fortælling, rangeringen bygger på, eller reelt modsætte sig anbefalingen, er mennesket måske kun det sidste led i en beslutning, hvis vigtigste dele allerede er truffet.

Sobhans sokker fortæller ingenting om algoritmer. De fortæller, hvad der står på den anden side af vores abstrakte ord om mål, sandsynligheder og beslutningsstøtte. Et system kan behandle en skole som et punkt i en strøm af signaler. For familien var den en morgen, et skænderi om tøj og et barn, der skulle hjem igen.

Det menneskelige ansvar ligger derfor ikke kun i retten til at trykke eller lade være. Det ligger i magten over hele vejen frem til knappen: hvad vi gør synligt, hvad vi lader forsvinde, og hvilken historie der får den endelige handling til at ligne det naturlige valg.

Kilder og videre læsning