Ein Gespür für Muster
KI kann mit neuen Tabellen, Zeitreihen und biologischen Sequenzen arbeiten. Was wird möglich, wenn ein Teil des gelernten Könnens bereits vorhanden ist?
Eine Tabelle mit Verkaufszahlen sieht nicht wie ein Gespräch aus. In einer Spalte stehen Daten, in einer anderen die Anzahl verkaufter Waren und in einer dritten vielleicht Temperaturen. Wir können die Zahlen addieren und eine Kurve zeichnen. Soll der Absatz des nächsten Monats vorhergesagt werden, beginnt eine andere Arbeit: Welche Faktoren sind wichtig, wie hängen sie zusammen, und welche Methode sollen wir verwenden?
Diese Arbeit kann heute an einem anderen Ort beginnen. Bei einer KI, die bereits etwas darüber gelernt hat, wie sich zeitliche Verläufe entwickeln können, bevor sie unsere Zahlen gesehen hat.
Googles TimesFM-3 wurde mit mehr als einer Billion Zeitpunkten aus realen und künstlich erzeugten Zeitreihen trainiert. Das Modell kann eine neue Zahlenreihe erhalten und eine Prognose liefern, ohne zuvor eigens darauf trainiert zu werden. Es kann auch mehrere Verläufe kombinieren und Informationen über bevorstehende Ereignisse einbeziehen. In Googles Beispiel fließen geplante Werbeaktionen in eine Prognose für den Speiseeisabsatz ein.
In diesem Beispiel gibt es kein Gespräch. Keine freundliche Stimme, die sich erklärt. Trotzdem hat die Situation etwas Vertrautes: Wir geben einer Maschine einen Zusammenhang, dem sie noch nicht begegnet ist, und erhalten eine fundierte Einschätzung der Fortsetzung.
So haben viele von uns auch die Sprachmodelle zum ersten Mal erlebt.
Die Sprache war nicht die Grenze
Ein Sprachmodell kann einen Text fortsetzen, der noch nie existiert hat. Es hat durch sein Training Regelmäßigkeiten gelernt und wendet sie auf den Zusammenhang an, den wir ihm geben. Daraus kann eine Erklärung, ein Gedicht oder ein Stück Code werden. Wie gut das gelingt, ist unterschiedlich, aber an die Fähigkeit selbst haben wir uns inzwischen gewöhnt.
Ich nenne es ein Gespür für Muster. Der Ausdruck erfasst etwas, das leicht verloren geht, wenn wir nur von Erkennung sprechen: dass gelerntes Können in einer neuen Situation eingesetzt werden kann. Das Modell muss nicht genau diesen Text oder genau diese Absatzkurve gesehen haben, um eine brauchbare Einschätzung abzugeben.
Das ist eine Metapher. Da sitzt kein Wesen, das spürt, dass Dienstag ein guter Tag für den Eisverkauf wird. Technisch handelt es sich weiterhin um Berechnung und gelernte statistische Zusammenhänge. Aus Sicht der Person, die das System nutzt, kann das Ergebnis aber daran erinnern, Hilfe von jemandem mit einem Gespür für solche Verläufe zu bekommen.
Die Verbindung zu Sprachmodellen reicht bis in die Konstruktion hinein. Sowohl TimesFM als auch Googles Tabellenmodell TabFM beruhen auf Transformern, jener Familie neuronaler Netze, die auch den meisten modernen Sprachmodellen zugrunde liegt. Ein zentraler Mechanismus heißt Attention: Das Modell berechnet, welche Teile der Eingabe füreinander relevant sind. Bei Text können das Verbindungen zwischen Wörtern sein. In TimesFM-3 geschieht es sowohl entlang der Zeit als auch zwischen verschiedenen Zahlenreihen.
Zahlen werden nicht einfach in einen Chatbot geschrieben. Die Systeme sind für ihre Datentypen gebaut. TimesFM fasst zum Beispiel Zeitpunkte in kleinen Blöcken zusammen, mit denen der Transformer arbeiten kann. Die gemeinsame Idee nimmt eine andere Gestalt an, wenn sich das Material ändert.
Wir haben viel Aufmerksamkeit darauf verwendet, dass die Maschinen schreiben lernten. Nun können wir verwandte Fähigkeiten an Orten entstehen sehen, an denen es überhaupt keine Sätze gibt.
Ein Gespür, das an etwas Erfundenem geübt wurde
TabFM arbeitet mit Tabellen. Es kann Zeilen mit bekannten Ergebnissen erhalten und sie nutzen, um die Ergebnisse neuer Zeilen vorherzusagen. Das kann eine Zahl oder eine Kategorie sein, beispielsweise ob ein Kunde ein Unternehmen wahrscheinlich verlassen wird.
Die bekannten Beispiele werden als Kontext mitgegeben. Das Modell passt seine Antwort daran an, ohne die Einstellungen zu verändern, die es während seines ursprünglichen Trainings gelernt hat. Es bekommt also weiterhin Informationen über die konkrete Aufgabe. Der Unterschied ist, dass wir seine Fähigkeit, mit Tabellen zu arbeiten, nicht jedes Mal neu aufbauen müssen.
Das überraschendste Detail ist, woher diese Fähigkeit kommt. Laut Google wurde TabFM ausschließlich mit Hunderten Millionen künstlich erzeugter Datensätze trainiert. Die Forschenden konstruierten unterschiedliche Zusammenhänge zwischen Variablen, ließen daraus Tabellen entstehen und gaben dem Modell Aufgaben, bei denen unbekannte Ergebnisse vorhergesagt werden sollten.
Es hat an etwas Erfundenem geübt und kann anschließend einen Teil des Gelernten auf reale Tabellen anwenden.
Das erinnert an die Möglichkeit, die ich in Die Kindheit der Maschinen untersuchte: dass Maschinen durch künstlich erzeugte Erfahrungen Können aufbauen können. Damals ging es um Übungen von Robotern in simulierten Welten. Hier kann die Übungswelt aus Zeilen und Spalten bestehen. Sie braucht weder Boden noch Wände noch Schwerkraft, um der Maschine etwas beizubringen, das außerhalb dieser Welt nützlich wird.
Natürlich gibt es Grenzen dafür, worauf die konstruierten Aufgaben das Modell vorbereiten. Eine Tabelle kann irreführend sein, und die Zusammenhänge im Training können schlecht zu der Aufgabe passen, die wir stellen. Die Möglichkeit ist dennoch bemerkenswert: Wir können eine Fähigkeit trainieren, Zusammenhänge abzuleiten, ohne Zugang zu allen realen Situationen zu haben, in denen diese Fähigkeit später eingesetzt werden soll.
Es geschieht an mehreren Orten
Google steht mit dieser Entwicklung nicht allein. Auch Amazons Chronos erstellt Prognosen für neue Zeitreihen. In der ursprünglichen Version wurden Zahlenwerte in Tokens umgewandelt, kleine Einheiten wie in einem Sprachmodell, und ein Transformer lernte, Fortsetzungen vorherzusagen. Die Forschenden nannten ihre Arbeit Learning the Language of Time Series.
Im Bereich der Tabellendaten ist TabPFN ein wichtiger Vorläufer. Auch dieses Modell lernt durch synthetische Aufgaben und nutzt bekannte Beispiele als Kontext für neue Vorhersagen. Google selbst nennt TabPFN und TabICL als Inspiration für TabFM.
Andere Forschende geben Transformern ein ganz anderes Material zum Üben. InstaDeep und seine Partner haben den Nucleotide Transformer entwickelt, der Repräsentationen von DNA-Sequenzen lernt. Das gelernte Können lässt sich nach weiterer Anpassung für unterschiedliche biologische Vorhersageaufgaben nutzen. Microsofts Aurora wird ebenfalls breit auf Daten über das Erdsystem vortrainiert und anschließend an Aufgaben wie Wetterprognosen, Luftverschmutzung und Meereswellen angepasst.
Diese Modelle können nicht ohne Weiteres die Plätze tauschen. Ein Gespür für DNA wird nicht automatisch zu einem Gespür für die Einkäufe von Kunden. Manche lassen sich direkt für neue Aufgaben einsetzen, andere brauchen weiteres Training. Trotzdem kann man sie kaum zusammen betrachten, ohne sich für die Entwicklung zu interessieren: Das Gespür für Muster breitet sich auf weitere Bereiche aus.
Das geschieht auch nicht nur mit Transformern. Googles Forschungsarbeit zur Hochwasserwarnung von 2024 beschrieb einen anderen Typ neuronalen Netzes, der mit Daten aus Tausenden von Flusseinzugsgebieten trainiert wurde. Er konnte Wetterdaten und Informationen über die Landschaft nutzen, um den Abfluss von Flüssen vorherzusagen, für die keine lokalen Messreihen zum Training vorlagen.
Das ist eine andere und enger begrenzte Form der Übertragung. Ihre Konsequenz macht die Idee aber greifbar. Was die Maschine anderswo gelernt hat, kann hier zu einer Warnung werden. Für Menschen am Fluss kann das Zeit bedeuten, sich in Sicherheit zu bringen, bevor das Wasser kommt.
Was fällt uns jetzt auf?
Beim maschinellen Lernen ging es schon immer darum, Muster zu lernen und auf neue Beobachtungen anzuwenden. Auch die Übertragung von Gelerntem und Modelle, die auf vielen Zeitreihen trainiert wurden, gab es schon vor diesen Systemen. Wir stehen nicht an einer scharfen Grenze zwischen Maschinen, die nur erinnern konnten, und Maschinen, die plötzlich verallgemeinern können.
Aber es macht einen Unterschied, wie viel gelerntes Können wiederverwendet werden kann und wie viel Arbeit nötig ist, damit es an einem neuen Ort funktioniert. Ein traditionelles Tabellenmodell trainiert man typischerweise auf dem konkreten Datensatz. Bei einem vortrainierten Tabellenmodell ist ein Teil des Könnens bereits vorhanden, bevor die Arbeit an der neuen Tabelle beginnt.
Stell dir einen kleinen Verein vor, der seit Jahren Daten über die Teilnahme sammelt, sich aber nie ein Analyseprojekt leisten konnte. Oder eine Werkstatt, die Messungen ihrer Maschinen speichert, ohne viel daraus zu machen. Ein besserer Zugang zu vortrainierten Modellen könnte es lohnend machen, diese Zahlen zu untersuchen. Die Beispiele sind Möglichkeiten, keine dokumentierten Ergebnisse der genannten Systeme. Die Daten müssen weiterhin brauchbar sein, und die Vorhersagen müssen an etwas geprüft werden, dessen richtige Antworten dem Modell nicht vorgegeben wurden.
Trotzdem kann sich die Schwelle verschieben. Wo man früher fragte, ob man die Mittel für den Bau einer Lösung hatte, kann man damit beginnen zu prüfen, ob eine bereits gelernte Fähigkeit helfen kann. Dann werden mehr kleine Fragen lohnend.
In KI findet die Verbindungen, die wir übersehen schrieb ich über die Möglichkeit, dass KI Wege durch Wissen öffnen kann, das Menschen zuvor nicht zusammen gesehen hatten. Tabellen- und Zeitreihenmodelle zeigen einen anderen Weg zu einem weiteren Blick. Man muss nicht an der Forschungsfront stehen. In einer Tabelle, die seit fünf Jahren jeden Montag geöffnet wurde, kann etwas stecken, das sich untersuchen lässt.
Eine Prognose sagt uns nicht unbedingt, warum etwas geschieht. Wenn der Eisabsatz der Temperatur folgt, haben wir damit auch keine vollständige Erklärung des Kundenverhaltens. Eine Maschine kann einen Bruch in der Welt übersehen, genauso wie ein erfahrener Mensch. Deshalb ist das Gespür für Muster eine Einschätzung, mit der man weiterarbeiten kann, kein Ergebnis, dem man gehorchen muss.
Eine gute Einschätzung kann aber verändern, was wir versuchen. Die Werkstatt kann eine Maschine früher untersuchen. Der Verein kann eine Veranstaltung anders planen. Ein Forscher kann einen Versuch wählen, der sonst nicht auf den Tisch gekommen wäre. Der Wert liegt auch in den Handlungen und Fragen, die eine Vorhersage möglich macht.
Wir haben uns daran gewöhnt, dass KI antwortet, wenn wir ihr schreiben. Dadurch wurde die Sprache zu unserem sichtbarsten Bild dieser Technik. Unterdessen hat eine Familie von Methoden gelernt, mit weit mehr von dem zu arbeiten, was die Welt hinterlässt: Messungen, Tabellen und biologischen Sequenzen.
Die Tabelle mit den Verkaufszahlen ist noch immer eine Tabelle. Niemand hat eine Spalte mit sicherem Wissen über die Zukunft hinzugefügt. Aber wenn uns ein Gespür für Muster helfen kann, das anhand von weit mehr Verläufen aufgebaut wurde, als wir selbst je untersuchen könnten, lässt sich mit den Zahlen plötzlich mehr anfangen.
Und es gibt viele Tabellen. Viele Messungen. Ganze Bereiche der Welt, von denen wir mehr aufgezeichnet haben, als wir bislang nutzen konnten.