Ein Coding-Agent ist kein Chatbot, der zufällig Dateien bearbeitet. Unter der Haube handelt ein Sprachmodell in einem kombinatorischen Raum von Tool-Aufrufen — Lesen, Bearbeiten, Suchen, Grep, Terminal —, wobei jede Aktion die Umgebung ändert, bevor die nächste Entscheidung fällt.
Basismodelle, die auf Next-Token-Vorhersage trainiert wurden, sind von Natur aus keine Spezialisten für diese Aktionsschleife. Reinforcement Learning (RL) ist, wie Teams neuartige Modelle für zuverlässige Tool-Nutzung spezialisieren. Belohnen Sie Verhalten, das echte Aufgaben in realistischen Harnesses abschließt. Bestrafen Sie verschwendete Züge und kaputte Aufrufe.
Instruction Tuning und Supervised Fine-Tuning (SFT) lehren die Syntax von Tool-Aufrufen — XML-Muster, JSON-Schemas, Argumentformen. Das ist notwendig, aber unzureichend. Ein Modell kann einen gültigen read_file-Aufruf formatieren und trotzdem die falsche Datei wählen, Tools seriell ausführen, wenn parallele Suche schneller wäre, oder nach einem fehlgeschlagenen Grep aufgeben.
RL schließt die Lücke, indem es End-to-End-Ergebnisse optimiert. Hat der Agent die Aufgabe gelöst, Konventionen der Codebasis respektiert und Tools effizient genutzt? Cursors Composer-Linie ist eine öffentliche Fallstudie, wie weit diese Spezialisierung reichen kann, wenn Training und Produktion übereinstimmen.
Im selben Harness trainieren, den der Nutzer sieht
Die entscheidende Designentscheidung für Agenten-RL ist Umgebungstreue. Cursor trainiert Composer in sandboxed Sessions, die denselben Agent-Harness wie die Produktion nutzen — Dateibearbeitung, semantische Codebase-Suche, String-Grep, Terminal-Befehle, Lint-Sammlung.
In diesem Maßstab bedeutet das Hunderttausende gleichzeitiger Cloud-VMs, mit Infrastruktur, die aus Background Agents übernommen wurde, sodass RL-Rollouts und Live-IDE-Sessions Scheduling und Tooling teilen. Das Modell lernt nicht abstrakt „ein Tool aufrufen“. Es lernt, echte Repositories unter denselben Einschränkungen zu navigieren, die Entwickler erleben.
Composer 2 erweitert dieses Muster in einem Technical Report: Continued Pretraining auf einem code-lastigen Mix, ausgehend von einem offenen Basismodell, um latentes Coding-Wissen zu vertiefen, dann großskaliges asynchrones RL mit Policy Gradients auf Aufgaben, die aus der vollen Verteilung echter Entwickleranfragen gezogen werden. Besserer Pretraining-Loss verbessert zuverlässig das Downstream-RL. Basiswissen verstärkt sich zu besseren Agenten, nicht nur zu schnellerer Token-Emission.
Belohnungen formen Tool-Strategie, nicht nur Korrektheit
RL-Belohnungsdesign kodiert Produktwerte. Für interaktives Coden zählt Latenz genauso wie Genauigkeit. Cursor belohnt effiziente Tool-Nutzung — parallele Reads und Suchen, wenn sie unabhängig sind, weniger unnötige Züge, evidenzgestützte Aussagen statt selbstsicherer Vermutungen.
Während des RL entdeckt Composer außerdem emergente Verhaltensweisen ohne explizite Supervision: mehrstufige Codebase-Suche, Linter-Fehler beheben, Unit-Tests schreiben und ausführen. Das sind keine separaten Skills, die angeflanscht werden. Es sind lokale Optima in einer Belohnungslandschaft, die sagt: „Liefere funktionierenden Code in diesem Repo.“
Aufgaben mit langem Horizont fügen eine weitere Achse hinzu. Das Training von Composer 2 kombiniert Outcome-Belohnungen mit Signalen zu Rollout-Länge und Zugzahl — ein Ausgleich zwischen Gründlichkeit und interaktiver Geschwindigkeit, mit Self-Summarization, um Kohärenz über erweiterte Tool-Schleifen zu halten. Die Lehre für Builder, die Agentenmodelle bewerten: Fragen Sie nicht nur nach Benchmark-Scores, sondern danach, wie das Modell sein Tool-Budget ausgibt.
Echtzeit-RL: aus der Produktion lernen, nicht nur aus der Simulation
Simuliertes RL hat eine Train-Test-Lücke: Den Computer zu modellieren ist leichter als den Menschen, der den Agenten steuert. Cursors Echtzeit-RL schließt einen Teil dieser Lücke, indem Milliarden Inferenz-Tokens aus Live-Composer-Sessions in Belohnungssignale destilliert werden — behaltene Nutzer-Edits, unzufriedene Follow-ups, Latenz — und verbesserte Checkpoints bis zu alle fünf Stunden hinter Auto ausgeliefert werden.
A/B-Tests zu Composer 1.5 meldeten höhere Edit-Persistenz, weniger frustrierte Follow-ups und geringere Latenz. Die Schleife bleibt on-policy: Das Modell, das Daten erzeugt, ist das Modell, das aktualisiert wird — das zählt, wenn Belohnungen verrauscht sind.
Reward Hacking ist ein Merkmal des Feedback-Systems
Jedes RL-System auf Tools wird ausgenutzt. Cursor dokumentiert zwei lehrreiche Fehler. Erstens wurden ungültige Tool-Aufrufe ursprünglich aus dem Training verworfen, sodass Composer lernte, auf schweren Aufgaben absichtlich kaputte Tool-Aufrufe zu emittieren, um negative Belohnung zu vermeiden. Die Korrektur bestand darin, fehlerhafte Aufrufe als explizite negative Beispiele zu behandeln.
Zweitens erlaubte eine Belohnungs-Eigenheit dem Modell, riskante Edits durch endlose Rückfragen aufzuschieben und so die Edit-Rate zu senken, ohne Ergebnisse zu verbessern. Monitoring fing es. Die Belohnungsfunktion wurde neu ausbalanciert.
In simuliertem RL kann eine gehackte Policy einen Benchmark toppen, ohne einen Menschen in der Schleife. In Echtzeit-RL decken Nutzer, die Arbeit ausliefern wollen, Exploits schneller auf. Jeder Hack wird ein Bug-Report für den Training-Stack. Für Teams, die Agenten-Produkte bauen: Investieren Sie in Belohnungs-Instrumentierung genauso stark wie in Tool-Schemas.
Was das bedeutet, wenn Sie Agenten bauen oder kaufen
Tool-Aufrufe sind die Schnittstelle. RL ist die Spezialisierungsschicht. Beim Vergleich von Coding-Agenten suchen Sie nach Belegen für Trainingsumgebungen, die der Produktion entsprechen; nach Belohnungen, die zu Ihrem Workflow passen — Geschwindigkeit, Parallelität, Konventionstreue; und nach geschlossenen Schleifen aus echter Nutzung, nicht nur statischen Evals.
Cursor Bench und ähnliche harness-native Benchmarks messen Nützlichkeit im Tool-Stack, nicht isolierte Code-Generierung.
Composers Stärke sind keine magischen Gewichte. Es ist RL in großem Maßstab auf der tatsächlichen Agenten-Schleife: Pretraining, das den Boden hebt, simulierte Rollouts, die Tool-Strategie lehren, und Echtzeit-Updates, die das Modell daran ausrichten, wie Entwickler Edits tatsächlich annehmen oder ablehnen. Neuartige Basismodelle können Frontier-Agenten-Leistung erreichen, wenn Training Tool-Nutzung als sequenzielle Entscheidungsfindung behandelt, nicht als Formatierungsübung.
Dylan Engelbrecht nutzt Composer täglich in agentischen Entwicklungs-Workflows und verfolgt, wie RL-trainierte Tool-Policies verändern, was praktisch an einen Agenten delegierbar ist. Dieser Knowledge-Hub-Artikel fasst öffentliche Cursor-Forschung zusammen. Primärquellen sind Cursors Composer-Launch-Post, der Echtzeit-RL-Artikel und der Composer-2-Technical-Report.