第8回で、画像と指示から動作を出すVLAを見ました。その賢さは、突き詰めれば、良いお手本をどれだけ集められたかに依る、と述べました。今回は、その学習の中身に、正面から降ります。動きを、どうやって学ぶのか。模倣、強化、そしてSim2Real。技術編の、最後の一段です。
そして今回は、点検・保全にとって、いちばん希望のある話でもあります。第1回で、Physical AIは認識から行動までの環であり、一周するたびにデータが増え、判断が厚くなる、と描きました。学習とは、その環を回して賢くなる、仕組みそのものです。ここを理解すると、現場に積み上がってきた記録が、なぜ持ち札になるのかが見えてきます。技術の話が、最後に、現場の話に戻ってきます。
模倣と強化、二つの学び方
動きを学ぶやり方は、大きく二つに分かれます。人のお手本をまねる模倣と、自分で試して報酬から学ぶ強化です。
模倣学習は、第8回でも触れました。人が遠隔で操作したお手本を集め、その画像から動作への対応を、まねさせる。単純で、立ち上がりが速い。良いお手本さえあれば、すぐにそれらしく動きます。弱みも、第8回で見ました。お手本は、うまくいった軌道ばかり。だから、いちどお手本になかった状態に入ると、どう戻ればいいかを知らず、少しのずれが、より大きなずれを呼ぶ。まねるだけでは、想定外に弱いのです。
もう一つが、強化学習です。こちらは、お手本を必要としません。代わりに、良い結果には高い報酬、悪い結果には低い報酬を与える仕組みを決め、ロボットに自分で試行錯誤させる。うまくいけば報酬が増えるので、その方向へ、少しずつ振る舞いを変えていく。何度も何度も試すうちに、報酬を最大にする動き方を、自分で見つけ出す。お手本になかった状況でも、試して学べるので、想定外に、模倣より強くなれます。
しかし、強化学習には、大きな代価が三つあります。一つは、必要な試行の数が、膨大なことです。まともに動けるようになるまで、何万回、何百万回と試す必要がある。二つ目が、報酬の設計の難しさ。何をもって良しとするか、を数式で表すのは、思ったより難しい。近道を許すような報酬を決めてしまうと、ロボットは、こちらの意図しないずるい抜け道を見つけて、報酬だけを稼ぎにいきます。三つ目が、危険です。試行錯誤とは、失敗を含むということ。実機で何百万回も失敗させれば、ロボットは壊れ、周りも危ない。この三つが、強化学習を、そのまま現実で回すことを、難しくしています。
模倣の弱みには、もう一つの手当てもあります。まねさせて動かしてみて、ロボットがずれて入り込んだ状態を、今度はその場で熟練者に、ここではこう戻す、と手本を足してもらう。ロボットが実際に迷い込む状態こそを、狙ってお手本に加えていく。うまくいった軌道だけでなく、しくじりかけた状態からの立て直しまで、お手本に含める。これで、想定外に弱いという泣きどころを、埋めにいけます。
強化の側にも、難しさをもう一段。試行錯誤といっても、報酬がめったに手に入らない課題では、そもそも、たまたま成功して報酬をもらう、という最初の一回が、なかなか起きません。だだっ広い可能性の中を、あてもなく探し回るばかりで、いつまでも報酬にたどり着かない。この、どう探るか、という探索の問題が、強化学習のもう一つの難所です。だから、少しでも良い方向に細かく報酬の手がかりを置いてやったり、まず模倣で成功の近くまで連れていってから強化を始めたりする。
実務では、この二つを組み合わせます。まず模倣で、お手本からおおまかな動きの土台を作り、その上に強化で、想定外への強さや、細かい仕上げを足す。土台は速く、仕上げは強く。役割を分けるわけです。
強化学習の中身と、その先
強化学習の中身は、もう一段深い。骨格は、環になっています。ロボットは、今の状態を見て、方策にしたがって行動し、その結果、環境が変わり、報酬を受け取る。また状態を見て、また行動する。この、状態、行動、報酬の環を回しながら、より多くの報酬を得られるように、方策を少しずつ書き換えていきます。
書き換え方には、大きく二つの見方があります。一つは、価値を見積もる見方。ある状態が、あるいはある状態でのある行動が、この先どれだけの報酬につながるか、という価値を見積もり、価値の高い行動を選ぶ。代表的なのが、行動の価値を学ぶQ学習です。もう一つは、方策を直に調整する見方。うまくいった行動は選ばれやすく、まずかった行動は選ばれにくくなるように、方策そのものを少しずつ動かす。これを方策勾配と呼びます。そして、この二つを組み合わせ、価値の見積もりを使って方策の調整を導くのが、俳優と批評家になぞらえられるactor-criticです。俳優が動き、批評家が良し悪しを採点し、その採点で俳優が上達していく。
この骨格から、点検・保全に効く枝が、二つ伸びています。一つが、offline RLです。ふつうの強化学習は、実機で試しながら学びますが、それが危険で高くつくのは、見たとおりです。offline RLは、あらかじめ集めておいたデータだけから、実機で試さずに、良い方策を学ぼうとする。現場に、過去の作業や操作の記録が、大量に残っているなら、それを、実機を動かさずに学びの糧にできる。もう一つが、inverse RLです。ふつうは、報酬を人が決めますが、その設計が難しいのは、見たとおりです。inverse RLは、逆に、熟練者のお手本から、その人が何を報酬としていたのかを、逆算して推し量る。言葉にしにくい熟練の判断基準を、お手本から取り出そうとする試みです。この二つは、第11回の技能伝承にも、つながっていきます。
Sim2Real：シミュレーションで鍛え、現実へ移す
強化学習の代価、膨大な試行、危険、を、正面から和らげるのが、Sim2Realです。実機で何百万回も失敗させる代わりに、計算機の中のシミュレーション、シミュレーションの中で、鍛える。
シミュレーションの中なら、ロボットは壊れず、周りも危なくない。しかも、時間を速く回し、何台も並列に走らせれば、実機の何千倍もの試行を、短い時間で積める。近年は、このシミュレーションを、GPUで多数まとめて走らせる基盤、たとえばIsaac LabやIsaac Gymのような環境が整い、学習の速さを大きく押し上げました。シミュレーションで鍛えて、できあがった方策を、現実のロボットに移す。これがSim2Realです。
ただし、ここに、避けられない壁があります。シミュレーションと現実は、同じではありません。摩擦や重さといった力学も、光の当たり方や質感といった見た目も、シミュレーションは現実を、完全には写せない。この差を、リアリティ・ギャップと呼びます。シミュレーションの中では完璧に動く方策が、現実に移した途端、この差につまずいて、うまく動かない。ここでも、第4回で見たdomain shift、学習した世界と本番の世界のずれ、が顔を出します。
この差は、どこから来るか。大きいのが、力学のずれです。モーターが指令どおりの力を出すまでのわずかな遅れや癖、部品のたわみ、そして接触です。物と物が触れ合う瞬間の、滑りや、めり込みや、跳ね返りは、シミュレーションが最も苦手とするところで、掴む、押す、といった操作ほど、この差につまずきます。見た目のずれも重い。シミュレーションの作り物の質感と、現場の汚れ、錆、逆光は、別物です。だから、現実に近い数値を丁寧に測ってシミュレーションに入れる地道な合わせ込みも、依然として要ります。
そのうえで、この壁を越えるための、うまい発想が、ドメインランダマイゼーションです。シミュレーションを、現実にぴったり合わせようと苦労する代わりに、逆に、シミュレーションのパラメータ、たとえば摩擦や、重さや、光の当たり方を、わざと、大きくばらつかせる。いろいろな摩擦、いろいろな光の下で、どれでもうまく動けるように鍛える。すると、現実というのも、その、ばらつかせたたくさんの世界の、もう一つのばらつきに過ぎなくなる。だから、初めて見る現実にも、うまく動ける。現実に合わせにいくのではなく、あらゆるばらつきに強くしておくことで、現実を、その中に含んでしまう。シミュレーションで土台を作り、最後は現場の少しのデータで仕上げる、という組み合わせもよく使われます。この発想が、Sim2Realを実際に使えるものにしました。もっとも、リアリティ・ギャップは、これで消えてなくなったわけではありません。埋め方の工夫が進んだ、というのが正確なところで、いまも研究の続く、未解の難問です。
現場データが資産になる：環と持ち札
ここまでの学習の話を、点検・保全に引きつけます。すると、第1回で置いた、いちばん大事な見立てに、戻ってきます。Physical AIは、直線ではなく、環である、という見立てです。
学習とは、この環を回して賢くなる仕組みでした。撮り、覚え、判断し、行動し、その結果を、また学びに返す。一周するたびに、データが増え、方策が厚くなる。使えば使うほど、賢くなっていく。この、使うほどデータが厚くなり、それがまた性能を上げる好循環を、データ・フライホイールと呼びます。はずみ車が、いちど回り始めると、その勢いで、より速く回るように。
この見方が、点検・保全の現場に、はっきりした意味を与えます。学習の糧は、お手本と、現場のデータでした。ならば、点検・保全の現場に、何十年と積み上がってきた点検の記録、補修の履歴、熟練者の作業のやり方は、遅れではなく、持ち札です。第1回で、競争の焦点が、ウェブのデータの規模から、現場に届けきる統合力へ移る、と述べました。その統合力の燃料が、現場のデータです。offline RLもinverse RLも、その糧を、実機を動かさず、あるいは熟練者のお手本から、学びに変える道でした。現場のデータを持っていることが、そのまま、学習の元手になる。
だから、結論はこうなります。データが、組織の資産になり、そして参入障壁になる。良い環を、早く回し始めた組織ほど、データが厚くなり、方策が賢くなり、それがまた良いデータを生む。後から追いつくのは、難しくなっていく。第5回で、覚える器を、完璧を待たず回しながら育てる、と述べたのは、この環を、一日でも早く回し始めるためでした。学習の技術は、最先端の研究のように見えて、その効き目は、現場のデータをどれだけ、どれだけ良い形で、持っているか、という、いちばん地道なところに、根を張っています。
おわりに
動きを学ぶ道は、二つあります。お手本をまねる模倣は速いが想定外に弱く、報酬から試行錯誤する強化は強いが、試行が膨大で、報酬設計が難しく、危険をともなう。だから実務では、模倣で土台を作り、強化で仕上げる。その強化の中身は、価値を見積もるQ学習、方策を直に調整する方策勾配、両者を組み合わせるactor-criticで、offline RLとinverse RLが、現場のデータと熟練者のお手本に効いてきます。
シミュレーションは、安全に大量に鍛える場を与えますが、現実との間にはリアリティ・ギャップが残る。パラメータをわざとばらつかせるドメインランダマイゼーションはその橋ですが、これはいまも未解の難問です。そして、Physical AIは環でした。使うほどデータが厚くなるデータ・フライホイールが回り、現場に積み上がった記録は、遅れではなく持ち札になる。データが、資産になり、参入障壁になる。良い環を、一日でも早く回し始めた組織ほど、強いのです。
次回からは、第3部、実装編に入ります。第10回は、ここまで見てきた技術を、一つのシステムとして束ねるとき、PoC、実証実験が、なぜ技術的に落ちるのか。その理由と、落とさない設計を扱います。
本記事は「Physical AI 点検・保全 講座」シリーズの第9回です。次回は、システムとしての統合と現場実装を扱います。スライド資料（PDF）は無料でダウンロードいただけます。
出典
- 出典：Orr & Dutta, "Multi-Agent Deep Reinforcement Learning for Multi-Robot Applications: A Survey", Sensors 23(7):3625 (2023) Fig.2. CC BY 4.0
- Sim2Real／ドメインランダマイゼーションの概念図：Muratore et al. "Robot learning from randomized simulations: A review." Frontiers in Robotics and AI 9:799893 (2022) Fig.6. CC BY 4.0
- 模倣学習（behavior cloning）、強化学習（value / policy・Q学習・方策勾配・actor-critic）、offline RL、inverse RLは、ロボット学習／強化学習の一般的手法に基づく（特定製品の性能値は含まない）
- Sim2Real・ドメインランダマイゼーション（Tobin et al. "Domain Randomization…", arXiv:1703.06907, 2017）、GPU並列のシミュレーション基盤（Isaac Lab / Isaac Gym 等。Isaac SimはOmniverse上のシミュレーション基盤）
- 本講座 第1回（認識から行動の環・使うほど厚くなる）、第7回・第8回（制御・模倣学習）、第5回（覚える器を回しながら育てる）
- Physical AIは環であり、現場データが資産・参入障壁になる、という見立ては本講座 第1回・第2回・第7回の整理に基づく（現場データの活用に関する国の記述と整合）