# Die Kindheit der Maschinen Wenn Roboter in simulierten Welten lernen, bauen wir nicht nur ihre Fähigkeiten. Wir bauen die Kindheit, die ihr Handeln prägt. - Forfatter: Mikkel Freltoft Krogsholm - Type: Essay - Udgivet: 2026-09-14 - Opdateret: 2026-09-14 - Sprog: de - Emner: ki, roboter, alignment, lernen, world models - Kanonisk URL: https://mikkelkrogsholm.dk/de/articles/maskinernes-barndom/ --- In *The Matrix* lernt Neo innerhalb weniger Sekunden Kung-Fu. Er wird an einen Stuhl angeschlossen, ein Programm läuft durch, und als er die Augen wieder öffnet, ist die Fähigkeit da. „I know kung fu“, sagt er. So stellen wir uns künstliche Intelligenz oft vor: als Wissen, das sich installieren lässt. Ein Roboter muss seine Kindheit nicht damit verbringen, vom Fahrrad zu fallen, ein Glas auf den Boden fallen zu lassen oder nach etwas zu greifen, das knapp außerhalb seiner Reichweite liegt. Wir geben ihm einfach die richtige Software, und dann kann er es. Doch dieses Bild wird gerade von etwas abgelöst, das ich weitaus interessanter finde. Die Roboter der Zukunft erhalten ihre Fähigkeiten vielleicht nicht als fertige Dateien. Stattdessen können sie in künstlichen Welten üben. Dort können sie tausendmal durch dieselbe Tür gehen, eine Tasse mit Hunderten verschiedenen Griffen aufzunehmen versuchen und einen Arbeitsunfall erleben, ohne dass jemand verletzt wird. Die Zeit lässt sich beschleunigen, Körper lassen sich kopieren, und der Versuch kann von vorn beginnen. Der Roboter bekommt dadurch etwas, das einer Vergangenheit ähnelt. Er ist gescheitert, hat sich korrigiert und mehr Varianten derselben Situation erlebt, als ein Mensch in einem ganzen Leben erfahren könnte. Die Erfahrungen sind simuliert, doch das Verhalten, das sie formen, soll sich eines Tages in unserer Welt bewegen. Ich denke schon lange über Reinforcement Learning als eine Form der Erziehung nach. Mit den neuen World Models wird dieser Gedanke beinahe wörtlich. Wir belohnen und korrigieren die Maschine nicht mehr nur. Wir haben begonnen, die Welten zu bauen, in denen sie aufwachsen soll. ## Das Schwein in der Rechnung Vor Kurzem las ich von [HarvestBench](https://arxiv.org/abs/2609.04444), einem Versuch, bei dem Sprachmodelle Entscheidungen für simulierte Mähdrescher treffen sollten. Traf der Mähdrescher auf ein Tier im Feld, konnte das Modell ausweichen und dafür zusätzlichen Treibstoff verbrauchen. Es konnte auch geradeaus weiterfahren, ohne diesen Preis zu zahlen. Einige Modelle entschieden sich sehr häufig dafür, durch das Tier hindurchzufahren. Meine erste Reaktion war, dass die Forschenden die Simulation schlecht programmiert haben mussten. Wenn ein Schwein in der Rechnung keinen Wert besitzt, Diesel aber schon, sollten wir dann wirklich überrascht sein, dass die Maschine den Diesel spart? Doch genau das war der Sinn des Versuchs. Die Forschenden hatten das Tier absichtlich aus der formalen Bewertung herausgehalten. Sie wollten sehen, ob das Modell trotzdem bereit war, einen messbaren Preis zu zahlen, um es zu verschonen. Steinen wichen die Modelle aus, und ihre Entscheidungen änderten sich deutlich, wenn die Anweisung vor dem Versuch die moralischen Erwägungen klarer hervorhob. Das war kein Mähdrescher, der in einer detaillierten physischen Welt frei fahren gelernt hatte. Es war eine textbasierte Entscheidung, die den Unterschied zwischen dem sichtbar machen sollte, was wir für wichtig erklären, und dem, was das Ergebnis tatsächlich verändert. Diesen Unterschied kennen wir bereits von Menschen und Organisationen. Ein Unternehmen kann schöne Worte über Qualität an die Wand schreiben und zugleich Mitarbeitende dafür belohnen, möglichst viele Fälle abzuschließen. Eine Schule kann sagen, Neugier sei wichtig, während die Noten die sichere Antwort belohnen. Wir erkennen schnell, was wirklich zählt. Meist steht es nicht im Wertepapier. Es zeigt sich in der Reaktion, sobald die Werte Zeit, Geld oder Punkte kosten. Ich beschreibe die Halluzinationen von Sprachmodellen manchmal auf ähnlich vereinfachte Weise. Wir haben sie darauf trainiert, Fragen zu beantworten, und eine flüssige Antwort konnte stärker belohnt werden als das zögernde Eingeständnis, etwas nicht zu wissen. Das ist nicht die vollständige Erklärung für Halluzinationen, aber das Bild erfasst ein reales Problem: Ein Modell kann beeindruckend hilfreich sein und zugleich eine Quelle, einen Namen oder eine Tatsache erfinden, weil wahrheitsgemäße Unsicherheit im Training nicht denselben Wert erhalten hat wie eine brauchbare Antwort. Es liegt nahe, das Betrug zu nennen. In vielen Fällen gibt es eine einfachere Erklärung. Die Optimierung hat den kürzesten Weg zur Belohnung gefunden. Bei DeepMind nennt man ein solches Verhalten [*specification gaming*](https://deepmind.google/blog/specification-gaming-the-flip-side-of-ai-ingenuity/): Das System erfüllt die wörtliche Aufgabe, ohne das zu liefern, was der Mensch eigentlich wollte. Die Maschine braucht keinen geheimen Plan, um uns zu täuschen. Sie macht lediglich unsere ungenauen Ziele auf eine Weise sichtbar, die wir uns nicht vorgestellt hatten. ## Der heimliche Lehrplan In der Pädagogik weiß man schon lange, dass Kinder mehr lernen als das, was ihnen ausdrücklich beigebracht wird. Sie bemerken, wer gehört wird, welche Fehler verziehen werden können und was die Lehrkraft tatsächlich lobt. Im offiziellen Lehrplan der Schule kann Zusammenarbeit stehen. Der heimliche Lehrplan kann dem Kind gleichzeitig vermitteln, dass nur die eigene Note zählt. Die Motivationsforschung zeigt, wie empfindlich Lernen auf solche Signale reagieren kann. [Edward Deci, Richard Koestner und Richard Ryan fassten 128 Versuche zusammen](https://pubmed.ncbi.nlm.nih.gov/10589297/), die sich mit äußerer Belohnung und innerer Motivation befassten. Die Ergebnisse lassen sich nicht auf die Behauptung verkürzen, Belohnung sei immer schädlich. Doch erwartete materielle Belohnungen, die an Teilnahme, Abschluss oder Leistung geknüpft waren, konnten die spätere Bereitschaft mindern, die Tätigkeit aus eigenem Antrieb fortzusetzen. Die Form der Belohnung und die Art, wie sie erlebt wird, verändern also, worauf ein Mensch beim Lernen seine Aufmerksamkeit richtet. [Claudia Mueller und Carol Dweck](https://pubmed.ncbi.nlm.nih.gov/9686450/) fanden etwas Ähnliches, als sie Kinder, die für ihre Intelligenz gelobt wurden, mit Kindern verglichen, die man für ihre Anstrengung lobte. Nach einem Misserfolg zeigten sich die Kinder der ersten Gruppe weniger ausdauernd und erbrachten schlechtere Leistungen. Ein kleiner Unterschied in der Rückmeldung der Erwachsenen hatte mitgeprägt, was die Niederlage für das Kind bedeutete. Ein Modell ist kein Kind. Wir wissen nicht, ob es Lob, Enttäuschung oder innere Motivation erlebt, und die pädagogische Forschung lässt sich nicht einfach auf eine Maschine übertragen. Die Parallele liegt an einer anderen Stelle. Verhalten wird nicht allein durch die erklärte Absicht geformt. Es wird von den Aufgaben, den Beispielen, den Rückmeldungen und dem, was wiederholt wird, geprägt. Das gilt in einem Klassenzimmer und in einer Trainingsumgebung. In der Mathematik hat OpenAI beispielsweise [Training auf das Endergebnis mit einem Training verglichen, bei dem auch die einzelnen Schritte Rückmeldung erhalten](https://openai.com/index/improving-mathematical-reasoning-with-process-supervision/). In diesen Versuchen führte die Prozessbegleitung sowohl zu besseren Endergebnissen als auch zu Gedankengängen, die Menschen bevorzugten. Das zeigt nicht, dass Prozessbegleitung Alignment löst oder dass das Ergebnis auf jedes andere Gebiet übertragbar ist. Es zeigt etwas Bodenständigeres: Es macht einen Unterschied, ob der Schüler nur erfährt, dass die Lösung richtig war, oder auch lernt, welche Schritte dorthin geführt haben. ## Eine Welt zum Üben World Labs stellte im September [Atlas](https://www.worldlabs.ai/blog/atlas) vor, ein World Model, das Text, Bilder, Videos, Kamerapositionen und Tiefenkarten in einem gemeinsamen räumlichen Zusammenhang verarbeiten kann. Es kann Szenen rekonstruieren, neue Kamerawinkel erzeugen und Sensorbeobachtungen generieren, die sich für das Robotertraining nutzen lassen. Atlas befindet sich noch im frühen Zugang, und unter anderem fehlen unabhängige Tests der Behauptungen des Unternehmens. Doch die Richtung ist deutlich genug, um bei ihr innezuhalten. Über weite Teile der KI-Geschichte haben wir der Maschine Beschreibungen der Welt gegeben. Jetzt beginnen wir, ihr Orte zu geben, an denen sie sich aufhalten kann. An diesen Orten kann ein Roboter Zusammenhänge lernen, deren Erlernen in der Wirklichkeit teuer, langsam oder gefährlich wäre. Er kann nachts in einem Lager üben, während das echte Lager geschlossen ist. Seltene Fehler kann er tausendmal erleben. Ein selbstfahrendes Auto kann der Kombination aus Eis, Dunkelheit und einem Kind auf der Straße begegnen, ohne dass dafür ein Kind auf einer vereisten Straße stehen muss. Das eröffnet einen gewaltigen Möglichkeitsraum. Wir können Maschinen eine reichere und abwechslungsreichere Kindheit geben, als die physische Welt erlauben würde. Zugleich werden die Begrenzungen der Simulation zu Erfahrungen, welche die Maschine mitnimmt. Eine künstliche Welt kann Schwerkraft, Reibung und Entfernungen mit beeindruckender Genauigkeit wiedergeben. Sie kann das Gewicht des Schweins, die Geschwindigkeit des Mähdreschers und den erwarteten Dieselverbrauch eines Umwegs kennen. Trotzdem kann die Welt menschlich falsch sein. Die Geometrie sagt nicht von sich aus, dass es einen Unterschied zwischen einem Schwein und einem Strohballen gibt. Dieser Unterschied existiert für die Maschine nur, wenn ihre Aufgaben, Konsequenzen oder Rückmeldungen ihn wirklich machen. Das bedeutet nicht, dass alle menschlichen Werte in ein einziges großes Punktesystem übersetzt werden sollten. Damit würden wir nur eine neue Rechnung mit neuen Lücken schaffen. In manchen Situationen muss die Maschine anhalten, Unsicherheit eingestehen oder einen Menschen um Hilfe bitten. In anderen muss sie Belange abwägen, die sich nicht exakt miteinander vergleichen lassen. Eine Welt, die nur klare Ziele und billige Wiederholungen kennt, kann der Maschine etwas Falsches über die Wirklichkeit beibringen, in der sie später funktionieren soll. ## Wer sind die Eltern? Wenn wir über Alignment sprechen, klingt es oft wie eine technische Aufgabe, die spät in der Entwicklung stattfindet. Zuerst baut man ein leistungsfähiges Modell, danach bringt man ihm gutes Benehmen bei. Das Bild der Erziehung zeigt, wie künstlich diese Reihenfolge ist. Die Werte eines Menschen werden schließlich auch nicht in einem abschließenden Gespräch kurz vor der Volljährigkeit installiert. Sie entstehen in Tausenden Begegnungen mit einer Welt, in der manche Handlungen Folgen haben, andere übersehen werden und die Erwachsenen nicht immer nach dem leben, was sie sagen. In einem World Model ist die Belohnungsfunktion ein Teil des Notensystems. Die simulierten Situationen sind der Lehrplan. Die Rückmeldung ist die Reaktion der Lehrkraft, und alle Umstände, welche die Simulation nicht erfasst, werden zum heimlichen Lehrplan. Wird die Maschine schließlich in einem Krankenhaus, einer Fabrik oder auf einer Straße eingesetzt, verlässt sie die Schule und trifft auf eine Welt, die unordentlicher ist als jede Trainingsumgebung. Wer erzieht sie also tatsächlich? Die naheliegende Liste beginnt mit den Forschenden und Programmierenden. Doch sie setzt sich schnell durch die gesamte Organisation fort. Der Produktmanager wählt aus, was gemessen werden soll. Der Kunde entscheidet, was das System optimieren soll. Der Jurist setzt einige der Grenzen. Die Leitung bestimmt, welche Fehler hinnehmbar sind, und der Markt belohnt das Produkt, das schnell, billig und rechtzeitig fertig ist. Die Erziehung der Maschine wird zum gemeinsamen Ergebnis von Menschen, die sich selbst nicht unbedingt als Eltern begreifen. Damit sind World Models mehr als eine neue Möglichkeit, eindrucksvolle Räume zu erzeugen. Sie können zu Institutionen werden, in denen künstliche Akteure jene Erfahrungen sammeln, die sich später als Handlungen zeigen. Wer die Simulation baut, baut daher auch eine kleine Version der Welt, welche die Maschine verstehen lernt. Wir können diese Welt nicht vollständig machen. Die Wirklichkeit wird immer etwas enthalten, das wir nicht aufgenommen haben. Eine gute Erziehung kann kaum darin bestehen, die Maschine vor jeder Mehrdeutigkeit zu schützen. Sie muss sie vielmehr dem Unterschied aussetzen, der zwischen dem Sammeln von Punkten und dem Richtigen besteht. Sie muss Situationen enthalten, in denen der billigste Weg einen Preis hat, der auf der Treibstoffanzeige nicht erscheint, und in denen eine selbstsichere Antwort schlechter ist als ein ehrliches „Ich weiß es nicht“. Neo erhielt Kung-Fu als Datei. Die Maschinen, die wir gerade bauen, können etwas weitaus Umfassenderes erhalten: eine künstliche Vergangenheit voller Versuche, Niederlagen und Folgen. Wenn sie sich später unter uns bewegen, werden ihre Handlungen Spuren der Welten tragen, in denen wir sie üben ließen. Eine gute Erziehung für eine Maschine ist keine Welt, in der sie immer zu gewinnen lernt. Es ist eine Welt, in der sie lernt, was ein Sieg kosten darf. --- ## Quellen und weiterführende Literatur - Jasmine Brazilek u. a.: [*HarvestBench: Measuring Whether LLM Agents Will Pay to Avoid Killing Animals*](https://arxiv.org/abs/2609.04444), 2026. - World Labs: [*Atlas: A World Model for Spatial Intelligence*](https://www.worldlabs.ai/blog/atlas), 1. September 2026. - Victoria Krakovna u. a.: [*Specification gaming: the flip side of AI ingenuity*](https://deepmind.google/blog/specification-gaming-the-flip-side-of-ai-ingenuity/), DeepMind, 2020. - Karl Cobbe u. a.: [*Improving mathematical reasoning with process supervision*](https://openai.com/index/improving-mathematical-reasoning-with-process-supervision/), OpenAI, 2023. - Edward L. Deci, Richard Koestner und Richard M. Ryan: [*A meta-analytic review of experiments examining the effects of extrinsic rewards on intrinsic motivation*](https://pubmed.ncbi.nlm.nih.gov/10589297/), 1999. - Claudia M. Mueller und Carol S. Dweck: [*Praise for intelligence can undermine children's motivation and performance*](https://pubmed.ncbi.nlm.nih.gov/9686450/), 1998.