ロボットの目、つまり視覚は、導入でもっとも過信されやすい工程です。デモや論文では、認識の正解率が99パーセントを超えます。ところが同じモデルを現場に持ち込むと、照明が変わっただけで崩れる。前回の適配で方策を育てても、その入力である視覚が現場で不安定なら、方策も不安定になります。今回は、視覚を現場で機能させる工程を扱います。結論を先に言えば、視覚の部署とは、認識率を100パーセントに近づける工程ではありません。認識の限界を測り、その内側を機械に、外側を人に振り分ける工程です。
なお、センサの原理や異常検知そのものの技術は、姉妹講座「Physical AI 点検・保全講座」の第2回・第4回で詳しく扱っています。本講座は、その視覚を現場に据える工程の側に立ちます。
ベンチマークの強さは、現場で消える
まず、崩れの実測から始めます。姉妹講座で検証した数値を引きます。あるひび割れ検出のモデルは、学習に使ったデータセットと別のデータセットで評価すると、領域一致の指標(mIoU)が0.870から0.653へ落ちました。さらに、影のあるなしだけで、正解率が0.9978から0.9045へ下がりました。しかも、低下分の多くは、無いものを在ると誤る側に出ます。
この崩れの原因は、ドメインシフトと呼ばれます。学習したときの世界と、使うときの世界がずれる。照明が違う、カメラの角度が違う、対象物の分布が違う。研究のベンチマークは、条件を揃えた世界で測ります。現場は、条件が揃いません。だから、ベンチマークでの勝ちは、現場で効くことを保証しません。
ここが視覚部署の出発点です。崩れることを、なくそうとするのではありません。崩れることを前提に、崩れ幅を測って組む。完璧な認識を目指す工程ではなく、認識の限界を測る工程だと捉え直す。この転換ができないと、いつまでも「あと少しで100パーセント」を追いかけて、現場が動きません。
目の選定：カメラと照明
視覚のハードウェアは、カメラと照明です。カメラの選定は、対象物と環境制約から逆算します。逆算の入口は、四つの量を数字で決めることです。作業距離(カメラから対象までの距離)、視野(一度に写す範囲)、必要解像度(見分けたい最小の特徴が何画素に写るか)、必要精度(位置をどこまで詰めたいか)。この四つが決まると、選べる方式が絞れます。順序を逆にして、手元にあるカメラから現場を決めると、後で作業距離が合わず、置き直しになります。
方式は、対象物の物理から選びます。二次元カメラは安価で高解像度ですが距離を持ちません。距離を測るなら、二眼の視差を使うステレオ、光を投げて往復や歪みで測るToFや構造化光、レーザーで点群を作るLiDAR。表面の下の温度差を見るなら熱画像。どれを選ぶかは、運び方の好みではなく、狙う対象の物理から決まります。透明な対象は光を透過するためToFや構造化光が測距を外し、光沢のある対象は鏡面反射で点群が欠け、真っ黒な対象は投げた光を吸って戻ってこない。方式ごとに、この得手不得手がはっきり分かれます。センサ原理の深掘りは姉妹講座に譲りますが、選定の勘所は、対象物がどの方式で見えるかを、現物のサンプルで先に確かめることです。カタログの精度値は、条件を揃えた対象で測った値です。自社の対象物で撮って、点群が欠けないかを見てから決めます。
そして、見落とされがちなのが照明です。精度の半分は、照明で決まります。同じカメラでも、反射で白飛びすれば見えず、影が落ちれば偽の輪郭が生まれ、外光が差し込めば時間帯で結果が変わる。照明は、対症の手が方式ごとに決まっています。光沢面の白飛びには、カメラと同軸から均一に当てる同軸照明や、半球状に回り込ませるドーム照明で反射を散らす。浅い凹凸や刻印を出したいときは、横から浅く当てる斜光(ローアングル)で影を作って際立たせる。鏡面反射そのものを消したいときは、偏光板を光源とレンズに掛けて反射成分を切る。輪郭だけを正確に取りたいときは、背後から照らすバックライトで対象をシルエットにする。現場の照明を制御下に置くこと、この手を対象に合わせて選ぶことが、カメラ選定と同じ重みを持ちます。外光の混入は、時間帯で結果を変える最大の原因です。囲いで遮る、あるいは特定波長の光源と同じ波長だけ通すフィルタを組んで外光の影響を切る。加えて、設置位置、防塵防水の等級(IP等級)、振動への耐性、レンズが汚れたときの清掃のしやすさといった現場制約も、選定の段階で確かめます。きれいに写る場所ではなく、現場で写り続ける場所に、目を置きます。
キャリブレーションの実務
カメラを置いたら、校正(キャリブレーション)します。これには三つあります。カメラ自身のレンズの歪みなどを補正する内部パラメータの校正、カメラが空間のどこにあるかを定める外部パラメータの校正、そしてロボットの手とカメラの目の位置関係を合わせるハンドアイ校正です。ロボットが見た場所へ正確に手を伸ばすには、この三つ目が要ります。
ハンドアイ校正には、二つの取り付け方があります。カメラを腕の先に付ける方式(眼在手上、アイインハンド)と、カメラを腕の外に固定する方式(眼在手外、アイトゥハンド)です。どちらも、求めたいのは手とカメラの座標系のあいだの固定した変換で、数式では AX=XB という形の問題に帰着します。手順としては、格子模様の校正板(チェスボードや円点板)を用意し、腕を十を超える異なる姿勢に動かして撮影し、姿勢のばらつきから変換を解きます。姿勢を似た角度ばかりで撮ると解が安定しないため、傾きと距離を散らして撮ることが精度を決めます。校正がどれだけ合ったかは、再投影誤差(計算した位置と実際に写った位置のずれを画素で測った値)で見ます。この値が想定より大きければ、姿勢の数を増やすか、校正板の平面度を疑います。
工程として押さえるべきは、いつ、誰が、どれくらいの頻度でやるかです。校正は一度やれば終わりではありません。振動で少しずつずれ、温度で機構が伸び縮みし、部品を交換すればやり直しになります。だから、校正の手順を文書化し、再投影誤差の合格ラインを数字で決め、ずれの兆候が出たときに誰が校正し直すかを、運用に組み込みます。校正の考え方や具体的な手順には、すでに優れた公開文書があります。カメラメーカーの日本語ドキュメントやOpenCVの公式資料は、そのまま入口として使えます。良い既存文書は、自分で書き直すより、紹介して使ってもらうほうが速い。ずれの症状から原因を引く逆引きも、手元に持っておくと復旧が速くなります。掴む位置が向きによらず一定方向にずれるならハンドアイ校正の変換を、遠い対象ほどずれが大きくなるなら内部パラメータやレンズ歪みを、画面の周辺だけ歪むならレンズ歪みの補正を疑う。この対応を表にしておくと、現場で誰が見ても同じ手順に入れます。
現場適配：崩れ幅を測って、埋める
選定と校正が終わっても、まだ現場では崩れます。ここからが現場適配です。手順は環になります。現地のデータで検証し、認識の閾値を調整し、足りなければ現地データで再学習し、また検証する。第7回の適配と同じ構造が、視覚にも現れます。
適配データの採り方が肝心です。研究用のきれいな画像ではなく、現場の実際の対象を、現場の実際の照明で、できれば季節や時間帯を振って集める。朝の斜光と昼の直上光では、同じ対象が別物に写ります。この現場のばらつきを含んだデータでなければ、現場の崩れは埋まりません。集めるときは、うまく写った成功例よりも、崩れた失敗例を優先します。冒頭の実測でも、崩れの多くは無いものを在ると誤る側に出ました。誤りが出た画像こそ、次の学習で埋めるべき穴です。だから現場では、判定が外れた画像を捨てずに残す仕組みを、はじめから運用に組み込みます。
閾値の調整も、この工程に入ります。多くの認識モデルは、確からしさのスコアを出します。どのスコア以上を採用するかの線を閾値と呼びます。閾値を上げれば誤検出は減りますが、拾えるはずの対象を取りこぼす。下げれば取りこぼしは減りますが、誤検出が増える。この綱引きは同時には勝てません。だから閾値は、現場でどちらの失敗が高くつくかで決めます。取りこぼしが危険な現場では取りこぼしを抑える側に、誤検出が手間を生む現場では誤検出を抑える側に振る。この判断が、次の振り分け設計に直結します。
ここで、避けられない問いが立ちます。いつまで適配するのか。認識率は、手をかければかけるほど、少しずつ上がります。しかし100パーセントには届きません。無限に適配できてしまうからこそ、どこで止めるかを決めておく必要があります。そして、この停止基準は、次の振り分け設計とセットで決まります。認識を100パーセントにできないなら、できない分をどう扱うかを設計する。そこで初めて、適配を止められます。
振り分けの設計
ここが、視覚部署の核心です。思想を転換します。認識率100パーセントを追うのをやめ、処理範囲を設計する。機械が確実に扱える範囲を決め、その外側を人に回す。この振り分けの設計こそが、視覚を現場で動かす鍵です。
一次資料に、この設計の実例があります。第2回でも触れた空港の手荷物が、ここでは振り分けの観点で効いてきます。ANAの手荷物ロボットは、カメラで手荷物の寸法とキャスターの有無を判別し、扱えないもの、たとえば軟らかい袋物や規格外のものは、そもそも対象外として係員の手作業へ回します。この判別と振り分けは、2020年から実運用で動いています。認識できないものを無理に認識させるのではなく、認識の範囲を決めて、外を人へ渡す設計です。
第2回で見たスキポール空港の「大規模運用で80から90パーセントを持ち上げられればよい」という要件も、同じ思想です。残りの10から20パーセントは、人が扱う前提で設計されています。そして、その「人へ回す」の出口を具体的に作った例が、Plus One Roboticsの遠隔介入です。同社は、ロボットが判定に迷ったとき、遠隔地の人が数秒(報道では約6秒)で介入して解決する仕組みを持ち、一人の担当者が最大50台のロボットを遠隔で見る体制を、2021年時点で示しています。判定の迷いを、その場で止めずに、遠隔の人へ逃がす。これが振り分けの出口です。
振り分けの設計には、三つの要素があります。第一に、判定基準の明文化。何を機械が扱い、何を人へ回すかの線を、寸法や重量やスコアで言葉にする。ANAの例が示すのは、この線が抽象的な信頼度だけでなく、寸法とキャスターの有無という測れる物理量で引かれていることです。軟らかい袋物や規格外は、スコアを競わせる前に、形の条件で対象外へ落ちる。認識の前段に、扱える形かどうかの門を置く。この明文化があると、なぜ人へ回したかを後から説明できます。第二に、例外の出口。人へ回すとき、その人がどこにいて、どう受け取るか。現場の係員なのか、遠隔の担当者なのか、動線ごと設計する。ここには二つの型があります。ANAのように、対象外をその場の係員の手作業へ渡す型。Plus Oneのように、判定に迷った場面を遠隔の人へ逃がす型。前者は物理の受け渡し、後者は画面越しの判断の受け渡しです。どちらの出口を作るかで、人の置き場所が変わります。第三に、グレーゾーンの扱い。判定が微妙なとき、どちらへ倒すか。認識モデルが出す確からしさのスコアには、高いでも低いでもない帯があります。学習で見たことのない対象も、この帯に落ちます。ここは、第6回で見たJSRの非対称設計が効きます。疑わしいときは、機械が無理に処理せず、人へ倒す。見落としのコストが高い現場では、空振り(人に回しすぎ)を許容してでも、危険な取りこぼしを避ける。閾値をこの非対称で引き、帯に入ったものは自動で例外の出口へ流す。この非対称を、視覚の判定ロジックに埋め込みます。
視覚部署の成果物
最後に、この工程の成果物をそろえます。五点です。カメラと照明の選定書、キャリブレーションの手順書、現場適配の記録、振り分けの仕様書、そして例外運用の手順書。
この五点がそろって初めて、視覚は「引き継げる」状態になります。一人の技術者の頭の中にある勘ではなく、次の人が読んで再現できる文書として、視覚が残る。逆に言えば、認識率の数字だけが高くても、この五点がなければ、その視覚は属人的で、担当者が抜けたら崩れます。視覚部署の完成とは、高い認識率ではなく、崩れ幅と振り分けが文書として引き継げることです。
おわりに
ベンチマークで9割を超える視覚が、現場の照明一つで崩れる。だから視覚部署は、完璧な認識を目指しません。崩れ幅を測り、カメラと照明を対象物から選定し、校正を運用に組み込み、現場データで適配し、そして最後に、認識できない分を人へ振り分ける設計をする。ANAの対象外は係員へ、スキポールの80から90パーセント、Plus Oneの遠隔介入。どれも、認識率100パーセントを追わずに、処理範囲を決めて外を人へ回す設計でした。判定基準の明文化、例外の出口、グレーゾーンの非対称。この三つを仕様にして、五点の成果物として引き継ぐ。
視覚とは、現場を完璧に見る目をつくる工程ではありません。見える範囲と見えない範囲の境界を引き、その境界で機械と人を振り分ける工程です。
次回は第9回、運用編です。振り分けで「人へ」と決めた先、その人がどう介入し、どう保守し、複数台をどう束ねるのか。Plus Oneの遠隔介入や、店舗に入ったロボットの運用の一次資料から、人とロボットの分業と、データが資産になる仕組みを扱います。
本記事は「Physical AI 導入実務講座」シリーズの第8回です。センサ原理・異常検知の技術は姉妹講座「Physical AI 点検・保全講座」を参照ください。次回は運用編を扱います。スライド資料（PDF）は無料でダウンロードいただけます。
出典
- クロスデータセット評価 mIoU 0.870→0.653／影の有無で正解率 0.9978→0.9045（低下分の多くは誤検出側）※姉妹講座「点検・保全講座」第3回・第4回で原典到達済のデータを継承。arXiv原論文へ再リンク
- 国土交通省 技術検討会 全日本空輸 資料 ※カメラで寸法・キャスターを判別し対象外は係員へ（2020年から実運用）
- Schiphol（アムステルダム空港）News ※「大規模運用で80〜90%を持ち上げられればよい」（第2回で既出、本講は振り分けの観点で回収）
- Plus One Robotics ※遠隔介入「数秒（報道では約6秒）で例外を解決」／一人で最大50台を遠隔管理（2021年時点、GlobeNewswire 2021-04-27・Human-in-the-Loop公式頁）
- Mech-Mind 日本語ドキュメント／OpenCV 公式 ※ハンドアイ校正の考え方・手順（入口として紹介）
- 3Dカメラ各社（Photoneo／Zivid等）公開選定ガイドの集約 ※カメラ方式・照明設計の選定指針（各項目の由来を出典に明記）
- ※センサ原理・異常検知・ドメインシフトの技術的仕組みは姉妹講座「Physical AI 点検・保全講座」第2・4回を参照