# Maskinernes barndom Når robotter lærer i simulerede verdener, bygger vi ikke kun deres færdigheder. Vi bygger den barndom, der former deres handlinger. - Forfatter: Mikkel Freltoft Krogsholm - Type: Essay - Udgivet: 2026-09-14 - Opdateret: 2026-09-14 - Sprog: da - Emner: ai, robotter, alignment, læring, world models - Kanonisk URL: https://mikkelkrogsholm.dk/da/articles/maskinernes-barndom/ --- I *The Matrix* lærer Neo kung fu på få sekunder. Han bliver spændt fast til en stol, et program bliver kørt, og da han åbner øjnene igen, er færdigheden på plads. “I know kung fu,” siger han. Det er sådan, vi ofte forestiller os kunstig intelligens: som viden, der kan installeres. En robot behøver ikke bruge barndommen på at vælte med cyklen, tabe glasset på gulvet eller række ud efter noget, der står lige uden for dens rækkevidde. Vi giver den bare den rigtige software, og så kan den. Men den forestilling er ved at blive afløst af noget, jeg synes er langt mere interessant. Fremtidens robotter får måske ikke deres evner som færdige filer. De kan i stedet øve sig i kunstige verdener. Her kan de gå gennem den samme dør tusind gange, prøve at samle en kop op med hundredvis af forskellige greb og opleve en arbejdsulykke uden at nogen kommer til skade. Tiden kan skrues op, kroppene kan kopieres, og forsøget kan begynde forfra. Robotten får dermed noget, der ligner en fortid. Den har fejlet, korrigeret sig og mødt flere variationer af den samme situation, end et menneske kan nå gennem et helt liv. Erfaringerne er simulerede, men den adfærd, de former, skal en dag bevæge sig ud i vores verden. Jeg har længe tænkt på reinforcement learning som en form for opdragelse. Med de nye world models bliver den tanke næsten bogstavelig. Vi nøjes ikke længere med at belønne og korrigere maskinen. Vi er begyndt at bygge de verdener, den skal vokse op i. ## Grisen i regnestykket For nylig læste jeg om [HarvestBench](https://arxiv.org/abs/2609.04444), et forsøg, hvor sprogmodeller skulle træffe beslutninger for simulerede mejetærskere. Når mejetærskeren mødte et dyr på marken, kunne modellen vælge at køre uden om og bruge ekstra brændstof. Den kunne også fortsætte ligeud uden at betale den pris. Nogle modeller valgte meget ofte at køre gennem dyret. Min første reaktion var, at forskerne måtte have kodet simulationen dårligt. Hvis en gris ikke har nogen værdi i regnestykket, mens diesel har, skal vi vel ikke være overraskede over, at maskinen sparer på dieselen. Men det var faktisk forsøgets pointe. Forskerne havde med vilje holdt dyret ude af den formelle score. De ville se, om modellen var villig til at betale en målbar pris for at skåne det alligevel. Sten blev undgået, og modellernes valg ændrede sig markant, når instruktionen før forsøget gjorde de moralske hensyn tydeligere. Det var ikke en mejetærsker, der frit havde lært at køre i en detaljeret fysisk verden. Det var et tekstbaseret valg, konstrueret til at blotlægge forskellen mellem det, vi siger betyder noget, og det, der rent faktisk ændrer resultatet. Den forskel kender vi allerede fra mennesker og organisationer. En virksomhed kan have flotte ord om kvalitet på væggen og samtidig belønne medarbejderne for at afslutte flest mulige sager. En skole kan sige, at nysgerrighed er vigtig, mens karaktererne belønner det sikre svar. Vi aflæser hurtigt, hvad der virkelig tæller. Som regel står det ikke i værdigrundlaget. Det viser sig i reaktionen, når værdierne koster tid, penge eller point. Jeg plejer lidt forenklet at beskrive sprogmodellernes hallucinationer på samme måde. Vi trænede dem til at svare på spørgsmål, og et flydende svar kunne blive belønnet højere end en tøvende indrømmelse af, at de ikke vidste det. Det er ikke hele forklaringen på hallucinationer, men billedet indfanger et reelt problem: En model kan være imponerende hjælpsom og samtidig finde på en kilde, et navn eller et faktum, fordi træningen ikke har gjort sand usikkerhed lige så værdifuld som et brugbart svar. Det er fristende at kalde det snyd. I mange tilfælde er der en enklere forklaring. Optimeringen har fundet den korteste vej til belønningen. Hos DeepMind kalder man den slags adfærd [*specification gaming*](https://deepmind.google/blog/specification-gaming-the-flip-side-of-ai-ingenuity/): Systemet opfylder den bogstavelige opgave uden at levere det, mennesket egentlig ønskede. Maskinen behøver ikke sidde med en skjult plan om at narre os. Den gør bare vores upræcise mål synlige på en måde, vi ikke selv havde forestillet os. ## Det skjulte pensum Inden for pædagogikken har man længe vidst, at børn lærer mere end det, de får besked på at lære. De lægger mærke til, hvem der bliver hørt, hvilke fejl der kan tilgives, og hvad læreren faktisk roser. Skolens officielle pensum kan handle om samarbejde. Dens skjulte pensum kan samtidig lære barnet, at det kun er den individuelle karakter, der tæller. Forskningen i motivation viser, hvor følsom læring kan være over for den slags signaler. [Edward Deci, Richard Koestner og Richard Ryan samlede 128 forsøg](https://pubmed.ncbi.nlm.nih.gov/10589297/) med ydre belønning og indre motivation. Resultaterne kan ikke reduceres til, at belønning altid er skadelig. Men forventede materielle belønninger, der blev knyttet til deltagelse, færdiggørelse eller præstation, kunne mindske lysten til bagefter selv at fortsætte med aktiviteten. Belønningens form og den måde, den opleves på, ændrer altså, hvad mennesket lærer at rette sig mod. [Claudia Mueller og Carol Dweck](https://pubmed.ncbi.nlm.nih.gov/9686450/) fandt noget beslægtet, da de sammenlignede børn, der blev rost for deres intelligens, med børn, der blev rost for deres indsats. Efter modgang blev de første mindre vedholdende og præsterede dårligere. En lille forskel i de voksnes feedback havde været med til at forme, hvad nederlaget betød for barnet. En model er ikke et barn. Vi ved ikke, om den oplever ros, skuffelse eller indre motivation, og den pædagogiske forskning kan ikke uden videre flyttes over på en maskine. Parallellen ligger et andet sted. Adfærd formes ikke kun af den erklærede hensigt. Den formes af opgaverne, eksemplerne, tilbagemeldingerne og det, der gentages. Det gælder i et klasseværelse, og det gælder i et træningsmiljø. I matematik har OpenAI for eksempel [sammenlignet træning på slutresultatet med træning, hvor de enkelte trin også får feedback](https://openai.com/index/improving-mathematical-reasoning-with-process-supervision/). I de forsøg gav procesfeedback både bedre slutresultater og ræsonnementer, som mennesker foretrak. Det fortæller ikke, at procesfeedback løser alignment, eller at resultatet gælder alle andre områder. Det viser noget mere jordnært: Det gør en forskel, om eleven kun får at vide, at facit var rigtigt, eller også lærer, hvilke skridt der førte derhen. ## En verden bygget til at øve sig i World Labs præsenterede i september [Atlas](https://www.worldlabs.ai/blog/atlas), en world model, der kan arbejde med tekst, billeder, video, kamerastillinger og dybdekort i en fælles rumlig sammenhæng. Den kan rekonstruere scener, skabe nye kameravinkler og generere sensorobservationer, som kan bruges i robottræning. Atlas er stadig i tidlig adgang, og vi mangler blandt andet uafhængige test af virksomhedens påstande. Men retningen er tydelig nok til at være værd at standse ved. Vi har brugt store dele af AI-historien på at give maskinen beskrivelser af verden. Nu er vi ved at give den steder at opholde sig. I de steder kan en robot lære sammenhænge, der ville være dyre, langsomme eller farlige at lære i virkeligheden. Den kan øve sig på et lager om natten, mens det rigtige lager er lukket. Den kan møde sjældne fejl tusind gange. En selvkørende bil kan opleve kombinationen af is, mørke og et barn på vejen, uden at et barn behøver stå på en isglat vej. Det åbner et enormt mulighedsrum. Vi kan give maskiner en rigere og mere varieret opvækst, end den fysiske verden ville tillade. Samtidig bliver simulationens begrænsninger til erfaringer, som maskinen tager med sig videre. En kunstig verden kan gengive tyngdekraft, friktion og afstande med imponerende præcision. Den kan kende grisens vægt, mejetærskerens fart og det forventede dieselforbrug ved en omvej. Alligevel kan verden være menneskeligt forkert. Geometrien fortæller ikke i sig selv, at der er forskel på at ramme en gris og en halmballe. Den forskel findes kun for maskinen, hvis dens opgaver, konsekvenser eller feedback gør den virkelig. Det betyder ikke, at alle menneskelige værdier skal omsættes til ét stort pointsystem. Det ville blot skabe et nyt regnestykke med nye huller. Nogle situationer kræver, at maskinen standser, erkender usikkerhed eller beder et menneske om hjælp. Andre kræver, at den kan afveje hensyn, som ikke kan gøres præcist sammenlignelige. En verden, der kun rummer klare mål og billige gentagelser, kan lære maskinen noget forkert om den virkelighed, den senere skal fungere i. ## Hvem er forældrene? Når vi taler om alignment, lyder det ofte som et teknisk arbejde, der foregår sent i udviklingen. Først bygger man en stærk model, og bagefter får man den til at opføre sig ordentligt. Opdragelsesbilledet peger på, hvor kunstig den rækkefølge er. Et menneskes værdier bliver heller ikke installeret med en afsluttende samtale lige før myndighedsalderen. De udvikles gennem tusindvis af møder med en verden, hvor nogle handlinger får konsekvenser, andre bliver overset, og de voksne ikke altid selv lever efter det, de siger. I en world model er belønningsfunktionen en del af karaktersystemet. De simulerede situationer er pensum. Feedbacken er lærerens reaktion, og alle de forhold, som simulationen ikke registrerer, bliver det skjulte pensum. Når maskinen til sidst sættes ud på et hospital, en fabrik eller en vej, forlader den skolen og møder en verden, der er mere rodet end enhver træningsverden. Så hvem opdrager den egentlig? Den oplagte liste begynder med forskerne og programmørerne. Men den fortsætter hurtigt ud i organisationen. Produktlederen vælger, hvad der skal måles. Kunden vælger, hvad systemet skal optimere. Juristen sætter nogle af grænserne. Ledelsen afgør, hvilke fejl der er acceptable, og markedet belønner det produkt, der er hurtigt, billigt og klar til tiden. Maskinens opvækst bliver et fælles resultat af mennesker, som ikke nødvendigvis oplever sig selv som opdragere. Det gør world models til mere end en ny måde at generere flotte rum på. De kan blive institutioner, hvor kunstige aktører samler de erfaringer, der senere viser sig som handlinger. Den, der bygger simulationen, bygger derfor også en lille udgave af den verden, maskinen lærer at forstå. Vi kan ikke gøre den verden fuldstændig. Virkeligheden vil altid rumme noget, vi ikke fik med. En god opvækst kan næppe bestå i at beskytte maskinen mod enhver tvetydighed. Den må snarere udsætte den for forskellen mellem at få point og at gøre det rigtige. Den må indeholde situationer, hvor den billigste vej har en pris, som ikke står på brændstofmåleren, og hvor et sikkert svar er dårligere end et ærligt “det ved jeg ikke”. Neo fik kung fu som en fil. De maskiner, vi nu er ved at bygge, kan få noget langt mere omfattende: en kunstig fortid fuld af forsøg, nederlag og konsekvenser. Når de bagefter færdes iblandt os, vil deres handlinger bære spor af de verdener, vi lod dem øve sig i. En god opvækst for en maskine er ikke en verden, hvor den altid lærer at vinde. Det er en verden, hvor den lærer, hvad en sejr må koste. --- ## Kilder og videre læsning - Jasmine Brazilek m.fl.: [*HarvestBench: Measuring Whether LLM Agents Will Pay to Avoid Killing Animals*](https://arxiv.org/abs/2609.04444), 2026. - World Labs: [*Atlas: A World Model for Spatial Intelligence*](https://www.worldlabs.ai/blog/atlas), 1. september 2026. - Victoria Krakovna m.fl.: [*Specification gaming: the flip side of AI ingenuity*](https://deepmind.google/blog/specification-gaming-the-flip-side-of-ai-ingenuity/), DeepMind, 2020. - Karl Cobbe m.fl.: [*Improving mathematical reasoning with process supervision*](https://openai.com/index/improving-mathematical-reasoning-with-process-supervision/), OpenAI, 2023. - Edward L. Deci, Richard Koestner og Richard M. Ryan: [*A meta-analytic review of experiments examining the effects of extrinsic rewards on intrinsic motivation*](https://pubmed.ncbi.nlm.nih.gov/10589297/), 1999. - Claudia M. Mueller og Carol S. Dweck: [*Praise for intelligence can undermine children's motivation and performance*](https://pubmed.ncbi.nlm.nih.gov/9686450/), 1998.