Mønsterfornemmelse

Et regneark med salgstal ligner ikke en samtale. Der står datoer i én kolonne, antal solgte varer i en anden og måske temperaturer i en tredje. Vi kan lægge tallene sammen og tegne en kurve. Hvis næste måneds salg skal forudsiges, begynder et andet arbejde: Hvilke forhold betyder noget, hvordan hænger de sammen, og hvilken metode skal vi bruge?

Det arbejde kan nu begynde et andet sted. Hos en AI, der allerede har lært noget om, hvordan tidslige forløb kan udvikle sig, før den har set vores tal.

Googles TimesFM-3 er trænet på over en billion tidspunkter fra virkelige og kunstigt skabte tidsserier. Den kan få en ny talrække og levere en prognose uden først at blive trænet særskilt på den. Den kan også kombinere flere forløb og tage oplysninger om kommende begivenheder med. I Googles eksempel indgår planlagte kampagner i en prognose for salg af is.

Der er ingen samtale i det eksempel. Ingen venlig stemme, der forklarer sig. Alligevel er der noget velkendt ved situationen: Vi giver en maskine en sammenhæng, den ikke har mødt før, og får et kvalificeret bud på fortsættelsen.

Det var også sådan, mange af os først oplevede sprogmodellerne.

Sproget var ikke grænsen

En sprogmodel kan fortsætte en tekst, som aldrig har eksisteret før. Den har lært regelmæssigheder gennem sin træning og bruger dem på den sammenhæng, vi giver den. Det kan blive til en forklaring, et digt eller et stykke kode. Hvor godt det lykkes, varierer, men vi er efterhånden blevet vant til selve evnen.

Jeg kalder det mønsterfornemmelse. Ordet indfanger noget, som let forsvinder, når vi nøjes med at tale om genkendelse: at den tillærte kunnen kan bruges i en ny situation. Modellen behøver ikke have set netop denne tekst eller netop denne salgskurve for at kunne give et brugbart bud.

Det er en metafor. Der sidder ikke et væsen og mærker på sig, at tirsdag bliver en god dag at sælge is. Teknisk er der stadig tale om beregning og indlærte statistiske sammenhænge. Men set fra den, der bruger systemet, kan resultatet minde om at få hjælp fra nogen med en fornemmelse for den slags forløb.

Forbindelsen til sprogmodellerne går helt ind i konstruktionen. Både TimesFM og Googles tabelmodel TabFM bygger på transformere, den familie af neurale netværk, der også ligger bag de fleste moderne sprogmodeller. En central mekanisme kaldes attention: Modellen beregner, hvilke dele af inputtet der er relevante for hinanden. I tekst kan det være forbindelser mellem ord. I TimesFM-3 sker det både langs tiden og mellem forskellige talrækker.

Tal bliver ikke bare skrevet ind i en chatbot. Systemerne er bygget til deres datatyper. TimesFM samler for eksempel tidspunkter i små blokke, som transformeren kan arbejde med. Den fælles idé får en anden udformning, når materialet ændrer sig.

Vi har brugt meget opmærksomhed på, at maskinerne lærte at skrive. Nu kan vi se beslægtede evner vokse frem steder, hvor der slet ikke er sætninger.

En fornemmelse, der er øvet på noget opdigtet

TabFM arbejder med tabeller. Den kan få rækker med kendte udfald og bruge dem til at forudsige udfaldet for nye rækker. Det kan være et tal eller en kategori, eksempelvis om en kunde sandsynligvis forlader en virksomhed.

De kendte eksempler følger med ind som kontekst. Modellen tilpasser sit svar til dem uden at ændre de indstillinger, den har lært under sin oprindelige træning. Den får altså stadig oplysninger om den konkrete opgave. Forskellen er, at vi ikke behøver bygge dens evne til at arbejde med tabeller op igen hver gang.

Den mest overraskende detalje ligger i, hvor den evne kommer fra. Ifølge Google er TabFM trænet udelukkende på hundredvis af millioner kunstigt skabte datasæt. Forskerne har konstrueret forskellige sammenhænge mellem variable, ladet dem frembringe tabeller og givet modellen opgaver i at forudsige de ukendte udfald.

Den har øvet sig på noget opdigtet og kan bagefter bruge noget af det lærte på virkelige tabeller.

Det minder om den mulighed, jeg undersøgte i Maskinernes barndom: at maskiner kan opbygge kunnen gennem kunstigt skabte erfaringer. Dengang handlede det om robotters øvelser i simulerede verdener. Her kan øvelsesverdenen bestå af rækker og kolonner. Den behøver hverken have gulv, vægge eller tyngdekraft for at lære maskinen noget, der bliver brugbart udenfor.

Der er selvfølgelig grænser for, hvad de konstruerede opgaver forbereder modellen på. En tabel kan være misvisende, og sammenhængene i træningen kan passe dårligt til den opgave, vi stiller. Men muligheden er bemærkelsesværdig: Vi kan træne en evne til at udlede sammenhænge uden at have adgang til alle de virkelige situationer, hvor evnen senere skal bruges.

Det sker flere steder

Google står ikke alene med udviklingen. Amazons Chronos laver også prognoser på nye tidsserier. I den oprindelige version blev talværdier omsat til tokens, små enheder som i en sprogmodel, og en transformer lærte at forudsige fortsættelser. Forskerne kaldte deres arbejde Learning the Language of Time Series.

På tabelområdet er TabPFN en vigtig forløber. Også den lærer gennem syntetiske opgaver og bruger kendte eksempler som kontekst ved nye forudsigelser. Google peger selv på TabPFN og TabICL som inspiration til TabFM.

Andre forskere giver transformere et helt andet materiale at øve sig på. InstaDeep og deres samarbejdspartnere har udviklet Nucleotide Transformer, der lærer repræsentationer af DNA-sekvenser. Den tillærte kunnen kan efter yderligere tilpasning bruges til forskellige biologiske forudsigelsesopgaver. Microsofts Aurora er tilsvarende bredt fortrænet på data om Jordsystemet og derefter tilpasset opgaver som vejrprognoser, luftforurening og havbølger.

De modeller kan ikke uden videre bytte plads. En fornemmelse for DNA bliver ikke automatisk til en fornemmelse for kunders indkøb. Nogle kan bruges direkte på nye opgaver, andre kræver yderligere træning. Alligevel er det svært at se dem samlet uden at blive optaget af bevægelsen: Mønsterfornemmelsen breder sig til flere domæner.

Det sker heller ikke kun med transformere. Googles forskningsarbejde om flodvarsling fra 2024 beskrev en anden type neuralt netværk, som blev trænet på data fra tusindvis af flodoplande. Det kunne bruge vejrdata og oplysninger om landskabet til at forudsige vandføring ved floder, der ikke havde lokale måleserier til træning.

Det er en anden og mere afgrænset form for overførsel. Men konsekvensen gør idéen håndgribelig. Det, maskinen har lært andre steder, kan blive til et varsel her. For mennesker langs floden kan det betyde tid til at flytte sig, før vandet kommer.

Hvad får vi nu øje på?

Maskinlæring har altid handlet om at lære mønstre og bruge dem på nye observationer. Der fandtes også overførsel af læring og modeller trænet på mange tidsserier, før disse systemer kom. Vi står ikke ved en skarp grænse mellem maskiner, der kun kunne huske, og maskiner, der pludselig kan generalisere.

Men det gør en forskel, hvor meget tillært kunnen der kan genbruges, og hvor meget arbejde der kræves for at få den til at virke et nyt sted. Med en traditionel tabelmodel træner man typisk på det konkrete datasæt. Med en fortrænet tabelmodel følger en del af kunnen allerede med, før arbejdet med den nye tabel begynder.

Forestil dig en lille forening, der har flere års oplysninger om fremmøde, men aldrig har haft råd til et analyseprojekt. Eller et værksted, der gemmer målinger fra sine maskiner uden at få meget ud af dem. Bedre adgang til fortrænede modeller kunne gøre det værd at undersøge de tal. Eksemplerne er muligheder, ikke dokumenterede resultater af de nævnte systemer. Data skal stadig være brugbare, og forudsigelserne skal prøves mod noget, modellen ikke har fået facit på.

Alligevel kan tærsklen flytte sig. Hvor man før spurgte, om man havde ressourcer til at bygge en løsning, kan man begynde med at undersøge, om en allerede lært evne kan hjælpe. Så bliver flere små spørgsmål værd at stille.

I AI finder de forbindelser, vi overser skrev jeg om muligheden for, at AI kan åbne veje gennem viden, som mennesker ikke tidligere har set samlet. Tabel- og tidsseriemodellerne viser en anden vej til et større udsyn. Man behøver ikke være ved forskningsfronten. Der kan ligge noget at undersøge i et regneark, som har været åbnet hver mandag i fem år.

En prognose fortæller os ikke nødvendigvis, hvorfor noget sker. Hvis issalget følger temperaturen, har vi heller ikke dermed en fuld forklaring på kundernes adfærd. En maskine kan overse et brud i verden, ligesom en erfaren person kan. Derfor er mønsterfornemmelse et bud at arbejde videre med, ikke et facit at adlyde.

Men et godt bud kan ændre, hvad vi prøver. Værkstedet kan undersøge en maskine tidligere. Foreningen kan planlægge et arrangement anderledes. En forsker kan vælge et forsøg, som ellers ikke var kommet på bordet. Værdien ligger også i de handlinger og spørgsmål, en forudsigelse gør mulige.

Vi er blevet vant til, at AI svarer, når vi skriver til den. Det har gjort sproget til vores mest synlige billede af teknologien. Undervejs har en familie af metoder imidlertid lært at arbejde med langt mere af det, verden efterlader sig: målinger, tabeller og biologiske sekvenser.

Regnearket med salgstal er stadig et regneark. Ingen har føjet en kolonne med sikker viden om fremtiden til. Men hvis vi kan få hjælp fra en mønsterfornemmelse, som er opbygget gennem langt flere forløb, end vi selv kunne nå at undersøge, er der pludselig mere at gøre med tallene.

Og der ligger mange regneark. Mange målinger. Hele områder af verden, vi har registreret mere af, end vi hidtil har kunnet bruge.