Der Transformer hat nicht jede Machine-Learning-Technik ersetzt. Gradient Boosting gewinnt weiterhin tabellarische Leaderboards. Model Predictive Control läuft weiterhin Fabriken. Die Architektur wurde das Default-Backbone für Repräsentationslernen überall dort, wo große Datensätze und parallele Rechenleistung zusammenpassen.
Vision, Sprache, Code und multimodale Modelle teilen inzwischen eine Architekturfamilie: Self-Attention über Sequenzen, Pretraining in großem Maßstab, dann Fine-Tuning. Diese Konsolidierung erklärt, warum es so wirkt, als hätten Transformer Machine Learning „aufgefressen“, obwohl klassische Pipelines nie verschwunden sind.
Warum LLMs Transformer fast sofort übernahmen
Sprache war der perfekte erste Kunde. Das Trainingskorpus existierte bereits — Webtext, Bücher, Code — ohne erforderliche Umgebung. Die Zielfunktion ist einfach: das nächste Token vorhersagen. Jeder Trainingsschritt ist embarrassingly parallel über Sequenzen. Keine Physik-Engine blockiert den Backward Pass.
Skalierungsgesetze von Kaplan et al. und später Chinchilla machten Compute-Ausgaben vorhersagbar: mehr Parameter und mehr Tokens, im Gleichgewicht, verbessern zuverlässig den Loss. LLM-Training ist Offline-Batch-Lernen auf eingefrorenen Korpora. Diese Datenökonomie machte die Transformer-Revolution zuerst für alle sichtbar.
Warum Robotik hinterherhinkte: Physik und paralleles Training
Robotik-Reinforcement-Learning ist ein anderes Problem. Policies lernen aus Interaktion, nicht aus einem vorab gesammelten Korpus. Jeder Umgebungsschritt hängt von Physik, Kontakt, Aktuatorgrenzen und Sensorrauschen ab. Sample-Effizienz ist brutal. Klassische Algorithmen wie PPO brauchen Millionen von Übergängen. Echte Roboter können diesen Durchsatz nicht liefern. Teleoperation ist langsam und teuer.
Jahrelang war der Engpass Infrastruktur, nicht Modellarchitektur. Die traditionelle Schleife — CPU-Physik-Simulator, Beobachtungen auf die GPU kopieren, eine kleine MLP-Policy trainieren, Aktionen zurückkopieren — begrenzt, wie viel Erfahrung Sie erzeugen können.
Isaac Gym (2021) zeigte, was sich ändert, wenn die gesamte Schleife auf der GPU bleibt. Physik-Buffer füttern PyTorch-Tensoren direkt und ermöglichen Zehntausende paralleler Umgebungen sowie etwa zwei bis drei Größenordnungen schnelleres Training bei Continuous-Control-Aufgaben. Der Robotik fehlte nicht das Interesse an Deep Learning. Ihr fehlte die parallele Datenfabrik, die LLMs standardmäßig hatten.
Simulationsschleifen, die Praktiker bereits kennen
Die konzeptionelle Schleife ist jedem vertraut, der Agenten in einem Simulator trainiert hat. Dylan Engelbrecht schrieb Introduction to Unity ML-Agents rund um Unity ML-Agents — ein Toolkit für Reinforcement Learning in Unity-Simulationen, kein Games-only-Gimmick.
Fertigungslayouts, Warehouse-Digital-Twins, prozedurale Umgebungen und Forschungsszenen teilen denselben Trainingsvertrag: Episode-Reset, Beobachtungstensoren, Reward-Signale, Policy-Update. ML-Agents lehrt Ingenieure, in Schleifen zu denken — Simulations-Ticks und Trainingsepisoden — statt in Einmal-Skripten.
Die Lücke für Robotik in Transformer-Maßstab war Durchsatz. Game- und Forschungssimulationen auf CPU-Physik erreichen selten die parallelen Umgebungszahlen, die große Policy-Netze praktikabel machen.
Isaac Lab schließt die Durchsatzlücke
Isaac Lab ist der offene modulare Stack, den NVIDIA als Nachfolger von Isaac Gym positioniert — GPU-beschleunigtes Robot Learning auf Isaac Sim mit paralleler Rigid-Body- und Deformable-Physik (PhysX), Tiled Rendering, Domain Randomization und fertigen Trainingsumgebungen für Manipulation und Lokomotion.
Das Designziel ist RL und Imitation Learning in Datacenter-Maßstab: Tausende Umgebungen pro GPU, Cloud-Deployment und ein Pfad zur Integration mit der differenzierbaren Newton-Physik-Engine für gradientenbasierte Ansätze. Das ist die fehlende Schicht zwischen „wir haben Transformer-Architekturen“ und „wir können uns leisten, sie auf Robot-Daten zu trainieren“.
Seien Sie präzise beim Determinismus. Die Autoren von Isaac Gym merken an, dass vollständig deterministische Rollouts unter mancher Runtime-Randomisierung und GPU-Scheduling-Reihenfolge brechen können. Die Gleitkomma-Reihenfolge über Tausende paralleler Umgebungen kann divergieren. High-Throughput, GPU-residente Simulation ist der Gewinn. Bit-exakte Reproduzierbarkeit in jedem kontaktreichen Szenario ist weiterhin schwer.
Sim-to-Real-Transfer, Sicherheitszertifizierung und Hardware-Varianz bleiben Downstream-Probleme. Schnelle Simulation löscht sie nicht. Sie ändert, was wirtschaftlich trainierbar ist.
Transformer dringen bereits in die Robotik ein
Die Robotik hat Transformer nicht ignoriert. Sie übernahm sie später und mit kleineren Datenbudgets. RT-1 skalierte eine Transformer-Policy auf große reale Demonstrationsdatensätze. RT-2 führte ein gemeinsames Fine-Tuning von Vision-Language-Modellen auf Robot-Trajektorien durch und behandelte Aktionen als Tokens, damit visuelle Priors in Web-Maßstab auf Kontrolle übertragen.
Diffusion- und Flow-Policies fügen einen weiteren Pfad hinzu: Aktions-Chunks mit Sequenzmodellen hoher Kapazität erzeugen. Die Verzögerung ist Tempo und Skala relativ zur Sprache, nicht die Abwesenheit der Architektur.
Robotik-Foundation-Modelle kommen wahrscheinlich als Nächstes
Die Konvergenz ist geradlinig. Transformer liefern Kapazität und Transfer. GPU-Simulation liefert Erfahrungsdurchsatz. Demonstrationsdatensätze und Teleoperation liefern Verankerung in physischen Aufgaben. Zusammen spiegeln sie die LLM-Formel — breit pretrainen, pro Embodiment oder Aufgabe spezialisieren — angewandt auf Closed-Loop-Kontrolle statt Next-Token-Vorhersage.
Robotik-Foundation-Modelle kommen wahrscheinlich als Nächstes: universelle Vision-Language-Action-Policies und sim-pretrainierte Controller, die auf echte Robot-Logs fine-tunen, analog dazu, wie Chat-Modelle von einer Text-Foundation fine-tunen. Ein „massiver Boom“ ist kalendarisch nicht garantiert. Hardwarekosten, Sicherheit und Sim-to-Real-Lücken begrenzen Deployment weiter.
Der Trainingsengpass verschiebt sich von „können wir genug RL fahren?“ zu „können wir diverse, hochwertige Interaktionsdaten kuratieren?“ Wenn parallele Simulation günstig ist, werden Transformer-Policies rational statt exotisch.
Für Builder, die Games, Simulation und Physical AI verbinden, ist das mentale Modell, das Sie bereits in ML-Agents oder Isaac Lab nutzen — Schleifen, Rewards, parallele Rollouts — dasselbe mentale Modell, das Foundation-Robot-Policies brauchen werden. Der Unterschied ist die Skala. Sprachmodelle gewannen zuerst, weil die Daten bereits auf der Festplatte lagen. Die Robotik baut die Datenfabrik jetzt.