第7回で、どこへ行って何を撮るかを決め、そこまで動く、ナビゲーションと運動計画を見ました。今回は、行動のもう一段先です。画像と言葉の指示から、ロボットの動作そのものを、直接出す。VLA、vision-language-actionモデルと、それが担う操作を扱います。本講座の技術編の、いちばん高いところです。
第7回までの行動は、あらかじめ決めた軌道を、計画して、制御で追う、という組み立てでした。VLAは、そこを塗り替えます。この画像を見て、この指示を受けたら、次にこう動け、という動作を、モデルが直接吐く。人が動作を設計するのではなく、大量のお手本から学んだモデルが、その場の画像と言葉に応じて動作を生成する。今回は、このVLAが何を変えたのかを、系譜と、動作の出し方の原理からたどり、最後に、それが点検・保全のどこに、いつ効いてくるのかを、誇張せずに見定めます。
VLAとは：画像と指示から、動作を出す
これまで見てきた基盤モデルは、入力が画像や言葉で、出力もまた、言葉や検出結果でした。第6回のVLMは、画像を見て言葉で答える。VLAが踏み出したのは、その出力を、言葉ではなく、ロボットの動作そのものにした、という一点です。
きっかけになったのが、RT-2という研究です。ウェブの膨大な画像と言葉で鍛えた視覚言語モデルに、ロボットの動作データを追加で学習させ、画像と指示から直接、動作を出させた。ここでの発想の飛躍は、動作を、言葉と同じように扱ったことにあります。言語モデルは、次にどの単語が来るかを予測して文を紡ぎます。RT-2は、その仕組みをそのまま使い、次にロボットがどう動くか、を予測させた。ウェブで学んだ広い知識、たとえば、バナナがどんなもので、机がどんな場所か、という常識を、ロボットの動作に転移できる。見たことのない物や指示にも、ある程度うまく動ける。VLAという名前は、この、視覚と言語と行動を一つのモデルで扱う枠組みに、与えられました。
言い換えると、VLAは、第1回で描いた認識から行動までの環を、一つのモデルの中に畳み込もうとする試みです。画像を認識し、言葉を理解し、動作を出す。それまで別々の部品だったものを、大きな一つのモデルが、端から端まで担う。この、端から端までを一つで、という方向が、行動の最前線を動かしています。
ただ、言葉を出すことと、動作を出すことのあいだには、大きな溝があります。言葉は、間違えても、次の一言で言い直せる。しかし動作は、物理の世界に、取り返しのつかない結果を残します。掴み損ねれば物は落ち、力を誤れば壊れ、経路を外せばぶつかる。しかも動作は、連続していて、速い。言葉は一秒に数語でよくても、体を支える動作は、第7回で見たとおり、毎秒何百回も出し続けなければならない。さらに、同じ「掴む」でも、アームの関節の数や指の形が違えば、出すべき動作はまるで変わる。身体が違えば、正解が違うのです。言葉には身体がありませんが、動作には身体がある。この、取り返しのつかなさ、速さ、そして身体への依存が、動作を出すことを、言葉を出すことよりずっと難しくしています。VLAの系譜は、この溝を、少しずつ埋めてきた歴史でもあります。
VLAの系譜
VLAは、この数年で、急な系譜を描きました。順にたどると、何が積み上がってきたかが見えます。
出発点にあるのが、RT-1です。多くのロボットの操作のお手本を、大規模に集めて模倣させ、一つのモデルで様々な作業をこなせるようにした。まだ言語モデルの常識までは取り込んでいませんが、大量のお手本から動作を学ぶ、という土台を築きました。次のRT-2が、そこに視覚言語モデルを持ち込み、ウェブの知識を動作に転移させた。VLAという名前が生まれたのは、ここです。
ただ、初期のVLAには、共通の弱みがありました。閉じていて、中身が見えず、新しいロボットに合わせて調整するのが難しい。そこを開いたのが、OpenVLAです。誰でも使える公開のモデルとして、視覚言語モデルを土台に、大量のロボットのお手本で鍛え、しかも手元の環境に合わせて軽く調整できるようにした。研究や現場が、VLAを実際に手に取れるようになった、という意味で、大きな一歩でした。同じころ、複数のロボットをそのまま動かせる汎用のモデルも現れ、VLAは、特定の一台のためのものから、多くの身体で共有できるものへと広がっていきます。
そして、動作の出し方そのものを変えたのが、π0です。動作を、言葉のように区切って出すのではなく、なめらかな流れとして生成する。より細やかで連続的な動きを、素直に出せるようになりました。さらに、第1回でも触れたHelixは、この動作生成を、速さの違う層に分けて組み上げます。系譜をたどると、大量のお手本、ウェブ知識の転移、公開と汎用化、連続的な動作、そして階層化と、一歩ずつ、実際に動けるVLAへ近づいてきたことが分かります。
動作を、どう出すか
VLAの心臓は、動作をどう出すか、にあります。ここに、いくつかの流儀があります。
一つは、動作をトークンに変えるやり方です。RT-2やOpenVLAが取ったのがこれで、ロボットの動作、たとえば手先をどれだけ動かし、どれだけ回し、握りをどうするか、という連続した量を、細かい段階に区切って、言葉の単語のように扱う。前後、上下、回転、握りの開閉といった動作の成分を、それぞれいくつかの段階に割り当て、その段階を表す記号を、言語モデルにそのまま吐かせる。言語モデルが単語を紡ぐ仕組みを、動作を紡ぐのに流用するわけです。OpenVLAの図で、指示「机を拭いて」に対して、モデルが手先の変位と回転と握りの値を返しているのは、この動作のトークン化が働いているところです。
出典：Kim et al. "OpenVLA: An Open-Source Vision-Language-Action Model", arXiv:2406.09246 (2024) Fig.1（CC BY 4.0で利用）
もう一つは、動作を連続的に生成するやり方です。区切ってしまうと、なめらかな動きが階段状になりがちです。そこで、雑音から少しずつ整えて、動作の系列そのものを生成する拡散方策や、まとめて一続きの動作を出す方式が使われます。π0の、動作を流れとして生成する、というのが、この系統にあたります。連続的で、細やかな動きに向きます。
拡散が選ばれるのには、理由があります。同じ状況でも、正しい動かし方は、一通りとは限りません。物を右から掴んでも、左から掴んでも、正解でありうる。ふつうの学び方だと、この複数の正解を平均してしまい、右と左の真ん中という、どちらでもない動作を出してしまう。拡散のような生成のやり方は、この複数の正解を、つぶさずに扱えます。そして、一手ずつではなく、少し先までの動作をまとめて出す工夫もよく使われます。まとめて出すと、動きに一貫性が生まれ、途中でふらつきにくい。数手先までを一気に出し、その一部を実行しては、また出し直す。この、まとめて出して少しずつ使う進め方が、なめらかで安定した操作を支えます。
そして、速さの層で分けるのが、階層です。第1回で見たHelixが、この形をとりました。意味を読む遅いモデルが毎秒七回から九回、その意味を動作に落とす速い方策が毎秒二百回、全身のバランスと接触を扱う最下層が毎秒千回。ただし初代Helix（2025年2月）はこの上の二層で、最下層（毎秒千回）はHelix 02（2026年1月）で加わった層です。上の層ほど賢く遅く、下の層ほど単純で速い。この速さの違いを分けて回すのが、身体を持つ知能の勘所でした。ここで、一つ注意を添えます。この、速い層と遅い層に分ける発想は、しばしば人の直感と熟慮という二つの思考になぞらえられますが、各社がその由来として挙げているのは、心理学の二重過程の理論であって、古典的なロボットの設計の系譜ではありません。似た形が過去にもあった、という見立ては魅力的ですが、それは本講座の解釈であって、確定した事実として述べるべきものではない。ここは、慎重に置いておきます。
これらすべての土台にあるのが、模倣学習です。人が遠隔で操作したお手本を大量に集め、その動きをモデルにまねさせる。ただ、まねるだけには、弱みがあります。お手本は、うまくいった軌道ばかりです。だから、いちど、お手本になかった状態に入ると、モデルはどう戻ればいいかを知らない。少しのずれが、お手本から外れた状態を生み、そこでの間違いが、さらに大きなずれを生む。この誤差の積み重なりが、まねる学び方の泣きどころです。だからこそ、失敗しかけた状態からの戻し方まで、お手本に含める工夫や、次回で扱う強化学習との組み合わせが要ります。
そして、VLAの賢さは、突き詰めれば、良いお手本を、どれだけ、どれだけ多様に集められたかに、大きく依っています。多くのロボットの、多くの作業のお手本を、一つの大きな集まりにまとめて学ぶ。この、身体をまたいで集めたデータの規模が、近年のVLAの土台になりました。お手本を集めること自体が、遠隔操作という人手のかかる仕事です。この学習の中身、模倣と、その先の強化やSim2Realは、次の第9回で正面から扱います。
点検・保全の前瞻：判断支援から、実作業へ
さて、ここまでの技術が、点検・保全のどこに効くのか。ここは、いちばん誇張が起きやすいところなので、慎重に見定めます。
これまでの回で見てきたAIの役割は、突き詰めれば、人の判断を助けることでした。撮り、覚え、severityを見立て、所見の枠に収めて差し出す。決めるのは人。ここまでは、判断の支援です。VLAが開くのは、その先、機械が実際に手を動かす、実作業の可能性です。弁を開け閉めする、汚れを清掃する、簡単な補修をする。点検で見つけた不具合に、機械がその場で手当てをする。判断支援から、実作業へ。これが、行動の最前線が指し示す方向です。
しかし、正直に線を引きます。今の時点で、VLAの多くは、研究と実演の段階にあります。動画で見る、なめらかに物をつかみ、机を拭く動作は、限られた設定の中での成果です。点検・保全の現場の、複雑で、汚れ、危険で、二つとして同じでない対象に、VLAが実作業として常時投入されている例は、まだ乏しい。第1回で、フィジカルAIは言葉が現実を追い越している段階だ、と述べましたが、その距離が、いちばん大きく開いているのが、この実作業の領域です。だから本講座は、VLAを、点検・保全の未来の地図には、はっきりと載せます。しかし、現在地は現在地として書きます。今すぐ現場で回るもの、として売るのは、誠実ではありません。
それでも、この方向を追う理由は、あります。第1回で見た、競争の焦点が、データの規模から、現場に届けきる統合力へ移る、という見立てです。VLAの賢さが、良いお手本の量と多様さに依るのなら、点検・保全の現場に積み上がってきた作業の記録と、熟練者の手つきは、遅れではなく、持ち札になりうる。実作業のVLAが現場で回る日が来るとして、それを鍛えるお手本を、いちばん持っているのは、現場だからです。VLAは、いま買う技術ではなく、いまから備える技術です。備え方の中身は、次回の学習と、第11回の最前線で、さらに掘り下げます。
おわりに
VLAとは、視覚言語モデルの出力を、言葉ではなくロボットの動作そのものにした枠組みです。RT-2がウェブの知識を動作へ転移して口火を切り、RT-1からOpenVLA、π0、Helixへと、大量のお手本、公開と汎用化、連続的な動作、階層化と、一歩ずつ積み上がってきました。動作の出し方には、トークンに変えるやり方、連続的に生成する拡散や流れ、速さで層を分ける階層があり、そのすべての土台に、人のお手本をまねる模倣学習があります。
VLAが開くのは、判断を支援する段階から、機械が自分の手で作業をこなす段階への、方向です。ただし、その現在地は、研究と実演の段階にとどまり、点検・保全の現場に常時投入されている例は、まだ乏しい。これは、いま買う技術ではなく、いまから備える技術なのです。
次回は、そのVLAを支える学習の中身、模倣、強化、そしてSim2Realを扱います。現場のデータが、なぜ、そしてどうやって、資産になるのか。使うほど賢くなる環の、いちばん奥を掘り下げます。
本記事は「Physical AI 点検・保全 講座」シリーズの第8回です。次回は、学習（模倣・強化・Sim2Real）を扱います。スライド資料（PDF）は無料でダウンロードいただけます。
出典
- 出典：Chi et al., "Diffusion Policy: Visuomotor Policy Learning via Action Diffusion", RSS 2023 / arXiv:2303.04137 Fig.1
- Brohan et al. "RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control"（arXiv:2307.15818, 2023）
- Kim et al. "OpenVLA: An Open-Source Vision-Language-Action Model"（arXiv:2406.09246, 2024）※本文中の実例図はFig.1（CC BY 4.0で利用）
- Brohan et al. "RT-1: Robotics Transformer for Real-World Control at Scale"（arXiv:2212.06817, 2022）
- Physical Intelligence "π0: A Vision-Language-Action Flow Model for General Robot Control"（arXiv:2410.24164, 2024）
- Chi et al. "Diffusion Policy: Visuomotor Policy Learning via Action Diffusion"（RSS 2023, arXiv:2303.04137）
- Figure AI "Helix: A Vision-Language-Action Model for Generalist Humanoid Control"（2025年2月20日）／"Introducing Helix 02"（2026年1月27日）※階層のHz・パラメータ数は出所を分けて記載。System 1/2の由来はKahneman（2011）に帰属
- 模倣学習（behavior cloning）は、ロボット学習の一般的手法に基づく（第9回で詳述）。特定製品の成功率・性能値は含まない