Transformerが、機械学習の技法をすべて置き換えたわけではありません。勾配ブースティングは、いまも表形式のリーダーボードで勝ちます。モデル予測制御は、いまも工場を動かします。大きなデータセットと並列計算が揃うところで、このアーキテクチャは表現学習のデフォルトのバックボーンになりました。
視覚、言語、コード、マルチモーダルモデルは、いま一つのアーキテクチャファミリを共有します。シーケンス上の自己注意、規模での事前学習、それからファインチューンです。この統合が、「Transformerが機械学習を食べた」と感じる理由です。古典的なパイプラインは消えていません。
LLMがすぐにTransformerを採用した理由
言語は、最初の完璧な顧客でした。訓練コーパスはすでに存在していました。ウェブテキスト、書籍、コードです。環境は不要でした。目標は単純です。次のトークンを予測すること。各訓練ステップは、シーケンス上で完全に並列化できます。逆伝播を阻む物理エンジンはありません。
Kaplanらのスケーリング則と、その後のChinchillaが、計算投入を予測可能にしました。パラメータとトークンをバランスよく増やせば、損失は確実に改善します。LLM訓練は、凍結コーパス上のオフラインバッチ学習です。そのデータ経済学が、Transformer革命を、だれの目にも最初に見えるものにしました。
ロボティクスが遅れた理由：物理と並列訓練
ロボティクスの強化学習は、別の問題です。方策は、事前収集したコーパスからではなく、相互作用から学びます。各環境ステップは、物理、接触、アクチュエータ限界、センサノイズに依存します。サンプル効率は残酷です。PPOのような古典的アルゴリズムは、数百万の遷移を必要とします。実ロボットは、そのスループットを供給できません。遠隔操作は遅く、高いです。
何年ものあいだ、ボトルネックはインフラであり、モデルアーキテクチャではありませんでした。伝統的なループ——CPU物理シミュレータ、GPUへの観測コピー、小さなMLP方策の訓練、動作のコピーバック——は、生成できる経験量を制限します。
Isaac Gym（2021）は、ループ全体がGPU上に留まると何が変わるかを示しました。物理バッファがPyTorchテンソルに直接流れ、数万の並列環境と、連続制御タスクでおよそ二桁から三桁速い訓練を可能にします。ロボティクスに深層学習への関心が欠けていたのではありません。LLMが既定で享受していた、並列データ工場が欠けていたのです。
実践者がすでに知るシミュレーションループ
概念上のループは、シミュレータ内でエージェントを訓練した人には馴染みがあります。Dylan EngelbrechtはIntroduction to Unity ML-Agentsを、Unity ML-Agentsを軸に書きました。Unityシミュレーション内で強化学習するためのツールキットであり、ゲーム限定の新奇さではありません。
製造レイアウト、倉庫のデジタルツイン、プロシージャル環境、研究シーンは、同じ訓練契約を共有します。エピソードリセット、観測テンソル、報酬信号、方策更新です。ML-Agentsは、単発のスクリプトではなく、ループ——シミュレーションティックと訓練エピソード——で考えることをエンジニアに教えます。
Transformer規模のロボティクスで欠けていたのは、スループットです。CPU物理のゲーム・研究シミュレーションは、大きな方策ネットワークを実用化する並列環境数に、ほとんど達しません。
Isaac Labがスループットの差を埋める
Isaac Labは、NVIDIAがIsaac Gymの後継として位置づける、オープンなモジュールスタックです。Isaac Sim上でのGPU加速ロボット学習、並列の剛体・変形可能物理（PhysX）、タイルレンダリング、ドメインランダマイゼーション、操作と移動のための訓練準備済み環境です。
設計目標は、データセンター規模のRLと模倣学習です。GPUあたり数千環境、クラウド配備、勾配ベース手法のための微分可能なNewton物理エンジンへの統合パスです。これが、「Transformerアーキテクチャはある」と「ロボットデータで訓練する余裕がある」のあいだに欠けていた層です。
決定性については正確に言いましょう。Isaac Gymの著者は、一部の実行時ランダマイゼーションとGPUスケジューリング順の下で、完全に決定的なロールアウトが壊れ得ると述べています。数千の並列環境にわたる浮動小数点の順序は、発散し得ます。勝ちは、高スループットでGPU常駐のシミュレーションです。接触の多いすべてのシナリオでビット単位に正確な再現は、いまも難しいです。
sim-to-realの転移、安全認証、ハードウェアのばらつきは、下流の問題のままです。速いシミュレーションは、それらを消しません。経済的に訓練できるものを変えます。
Transformerはすでにロボティクスに入っている
ロボティクスはTransformerを無視したのではありません。採用は遅く、データ予算はより小さかったのです。RT-1は、大規模な実世界デモンストレーションデータセットでTransformer方策をスケールしました。RT-2は、ロボット軌道で視覚言語モデルを共同ファインチューンし、動作をトークンとして扱うことで、ウェブ規模の視覚事前知識を制御へ移しました。
拡散とフロー方策は、別の道を足します。高容量の系列モデルで動作チャンクを生成します。遅れは、言語に対するペースとスケールであり、アーキテクチャの不在ではありません。
ロボティクス基盤モデルが次に来る可能性が高い
収束は単純です。Transformerが容量と転移を供給します。GPUシミュレーションが経験スループットを供給します。デモンストレーションデータセットと遠隔操作が、物理タスクへの接地を供給します。合わせて、LLMのレシピ——広く事前学習し、実施形態やタスクごとに特化する——を、次トークン予測ではなく閉ループ制御に適用します。
ロボティクス基盤モデルが次に来る可能性は高いです。汎用のvision-language-action方策と、実ロボットログでファインチューンするシミュレーション事前学習コントローラです。チャットモデルがテキスト基盤からファインチューンするのと類似です。「大規模なブーム」がカレンダー上で保証されるわけではありません。ハードウェアコスト、安全、sim-to-realの差が、いまでも配備をゲートします。
訓練のボトルネックは、「十分なRLを走らせられるか」から「多様で高品質な相互作用データをキュレーションできるか」へ移っています。並列シミュレーションが安いとき、Transformer方策は異質ではなく合理的になります。
ゲーム、シミュレーション、フィジカルAIを横断するビルダーへ。ML-AgentsやIsaac Labですでに使っているメンタルモデル——ループ、報酬、並列ロールアウト——は、基盤ロボット方策にも必要な同じメンタルモデルです。差はスケールです。言語モデルが先に勝ったのは、データがすでにディスクにあったからです。ロボティクスはいま、データ工場を建設しています。