第5回で、見つけた結果を、どの資産の、前回と比べてどうか、という文脈で覚えておく段階まで来ました。今回は、その覚えている状態を踏まえて評価する段階、判断を扱います。技術としては、画像と言葉をまたいで扱う基盤モデル、視覚言語モデル、VLMが主役です。
生成AIの登場で、AIが「言葉で答える」ようになりました。設備の写真を見せて「これは補修が必要ですか」と尋ねると、それらしい答えが返ってくる。この手軽さは、点検の判断を大きく変えるように見えます。しかし、第1回で線を引いたとおり、生成AIをそのまま点検の判断に据えると、危うい。今回は、VLMの中身を原理からたどり、それが点検の判断に何をもたらすのかを見定め、そして、その出力を制度の枠にどう収めるか、生成AIを全体ではなく部品としてどう組むか、という点に答えます。
VLMとは：画像と言葉を、またぐ
まず、VLMの中身です。名前のとおり、視覚と言語を一つに扱うモデルで、大きく三つの部品からできています。
一つ目は、画像を読み取る視覚エンコーダです。画像を、その中身を要約した特徴の並びに変換します。二つ目は、言葉を扱う言語モデル。第4回でも触れた、大量の文章で鍛えられた、文の続きを予測するモデルです。そして三つ目が、この二つをつなぐ橋渡しの層です。画像から出た特徴を、言語モデルが受け取れる形に翻訳する。この橋渡しがあって初めて、画像を見ながら言葉で考える、ということが成り立ちます。
この三つを、どう学習させるか。土台にあるのが、画像と説明文の対応です。ウェブには、画像とその説明文が、無数に対になって存在します。これを大量に集め、正しい画像と説明文の組は近く、無関係な組は遠くなるように、両者を同じ土俵の上に並べて学ぶ。この対の学習で、モデルは、この画像はこういう言葉で表される、というつながりを身につけます。そのうえで、指示に従って答える練習を重ねると、画像について質問に答える、視覚質問応答ができるようになる。「この画像に何が写っているか」「ひび割れはどこか」に、言葉で応じるわけです。
画像から出た特徴を、言語モデルにどう渡すかにも、流儀があります。特徴を言語の側の入力にそのまま並べて置く軽いやり方から、言語モデルの各層が画像の特徴を随時参照する、より密につないだやり方まで。渡し方が密なほど、細かい対応は取りやすくなりますが、そのぶん計算は重くなります。どの流儀でも、共通しているのは、規模の力です。数億から数十億という対の画像と文で鍛えることで、モデルは、特定の物だけでなく、見たことのない物についても、言葉との橋を渡せるようになりました。
ここで、点検にとって大切な機能が二つ出てきます。一つは、言葉を画像上の場所に対応づけるグラウンディング。「ひび割れ」という言葉を、画像のどの領域かに結びつける。もう一つは、複数のものの関係を言葉で述べる力。この桁のこの位置に、この幅のひびがある、という具合に、位置と関係をまとめて言語化できる。第5回のシーングラフが、物と関係を図で持ったのに対し、VLMは、それを言葉として扱えます。
ただし、得手不得手があります。何が写っているかを言い当てるのは得意でも、それがどこに、何ミリの精度であるか、いくつあるか、という細かい空間の把握は、まだ揺れます。点検が求めるのは、その細かさのほうです。だからVLMは、大づかみな理解や、文脈を言葉でまたぐところで力を発揮し、精密な位置や寸法は、第2回から第4回で見た計測や検知に任せる。ここでも、役割の分担があります。
点検の判断に、VLMは何をもたらすか
では、この力を点検の判断にどう使うか。判断とは、第1回の言葉でいえば、覚えている状態を踏まえて、基準を超えているか、優先度はどうか、を決めることです。
VLMは、ここに二つの貢献ができます。一つは、severityの見立て。画像と、そこに何があるかの理解から、これはどの程度深刻か、の当たりをつける。もう一つは、文脈を言葉でまたぐ力。この部材は前回どうで、社内の基準ではどこからが要注意か、という文脈を、画像と一緒に言葉で扱える。検知AIが「ここにひび割れがある」で止まったのに対し、VLMは「前回0.2ミリだったこの主桁のひびが、今回は基準の0.3ミリに達している」という、文脈を織り込んだ言い方に踏み込めます。
ただし、ここに落とし穴があります。VLMは、文脈を渡さなければ、知らないことをもっともらしく埋めてしまう。これがhallucinationです。設備の設置年も、前回の判定も、社内基準の閾値も、モデルは生まれつきは知りません。知らないまま、流暢に、それらしい数字を答えてしまう。第1回で、生成AIは流暢さで評価される、と述べたのは、この危うさのことでした。
だから、判断に使うには、文脈を外から与える仕組みが要ります。台帳、履歴、基準を、検索して引いてきて、画像や質問と一緒にモデルへ渡す。この、外の知識を検索して差し込む仕組みを、RAG、検索を伴う生成と呼びます。
この仕組みは、二つの段階に分かれます。まず、台帳や過去の点検記録、基準の文書を、あらかじめ意味の近さで引けるように整理しておく。文章や記録を、それぞれの意味を表すベクトルに変換して並べておくのです。判断のときは、今の対象、たとえばこの主桁のこのひび、に近い記録や基準を、そのベクトルの近さで引き当て、引いてきた文脈をモデルへの入力に添える。モデルは、自分の中に覚えている一般知識ではなく、たった今引いてきた、その現場の記録と基準に基づいて答える。ここが肝心で、答えの根拠が、モデルの記憶ではなく、引いてきた文書の側にある。だから、なぜその判断かを、引いた記録に遡って確かめられます。
第5回で作った、覚えている器、アセットグラフや履歴が、ここで生きてきます。器がなければ、差し込む文脈がない。VLMの判断の質は、モデルの賢さよりも、そこに正しい文脈を渡せるかで、大きく決まります。第5回の状態の保持と、第6回の判断は、この一点でつながっています。
出力を、制度の枠に収める
VLMは、なめらかな文章を出すのが得意です。しかし、点検の判断の出力は、なめらかな文章ではありません。ここに、技術と制度の、大きな接ぎ目があります。
国の運用の手引きは、点検で書くべき所見を、四つの点に定めています。次回点検までに実施することが望ましい措置について、措置の内容、その必要性、緊急性、そしてその理由。判断の出力は、この四つの枠に収まる形でなければなりません。自由に文章を書くのではなく、決められた項目を、決められた粒度で埋める。
しかも、書いてよいことにも、書いてはいけないことにも、線があります。手引きは、はっきり定めています。推奨される措置として、具体的な材料や工法を特定するような記述は、原則として行ってはならない。そして、なお、措置は、工法などではなく、性能の回復や改善、変状や損傷の発生や進行の防止などである、という但し書きが、二度くり返されます。つまり、判断が出してよいのは、耐荷性能を回復せよ、損傷の進行を防止せよ、という性能の言葉までで、どの材料でどう直すか、という工法には踏み込んではいけない。工法は、次の設計の仕事だからです。
書ける言葉そのものも、絞られています。措置や対策を表す統制された語彙は、十語ほどしかありません。監視、常時監視、耐荷性能の改善や回復や強化、耐久性能の改善や回復、安定の確保、何々の防止、何々の可能性の低減。このうち七語が、何の性能を、どの水準まで、という決まった形をしています。判断の出力は、この十語ほどの語彙の枠に、当てはめて返すことになります。
では、どうやって収めるか。技術の側にも、そのための道具があります。あらかじめ、出力の形をひな型として決めておく。措置の内容はこの十語のどれか、必要性と緊急性はこの段階のどれか、理由はここに、という枠を、機械が読める形で定義しておくのです。そのうえで、モデルの生成を、その枠から外れないように縛る。決められた選択肢の中からしか選べないようにする、あるいは、定義した項目を埋める形でしか答えられないようにする。自由な文章を書く力を、わざと狭い通り道に通す。こうして、なめらかな一文ではなく、四つの枠と十語の語彙に収まった、制度が受け取れる形の出力を得ます。
ここに、VLMの使い方の急所があります。自由な文章を書くのが得意なモデルに、自由に書かせてはいけない。むしろ、その自由さを抑え、決められた四つの枠と、十語ほどの語彙の中に、判断を収めさせる。第4回で、検知の出力を評価の区分に収める、という話をしました。判断の出力も同じで、なめらかな文章ではなく、制度が決めた構造に、収める。技術の自由さと、制度の枠を、どうそろえるか。VLMを点検に使うとは、この設計をすることです。
生成AIは「部品」であって、全体ではない
ここまで来ると、素朴な疑問に、はっきり答えられます。文脈も基準も全部プロンプトに入れて、生成AIに丸ごと渡せば、点検の判断はできるのではないか。第1回でも触れた、この反論です。
答えは、原理的には可能だが、それは生成AIに丸投げしたのではなく、三条件を満たすシステムを、生成AIを部品にして組んだ、ということです。台帳と履歴を引いてくる仕組みが要る。出力を、所見の四点と、十語の語彙に収める仕組みが要る。前回と比べる、覚えている器が要る。これらをそろえて初めて、判断が成り立つ。生成AIは、その組み立ての中の、言葉を扱う一つの部品であって、システムの全体ではありません。第1回で、VLAは生成AIを環のなかで部品として使う例だと述べたのと、同じ構図です。
部品としてのVLMを、さらに賢く働かせる仕組みが、エージェントです。VLMやLLMが、自分では答えを持たないとき、道具を呼ぶ。台帳を照会する、基準の表を引く、過去の写真を検索する、寸法を計算する。そうした道具を必要に応じて呼び出し、手順を組み立てて答えにたどり着く。
動きを追うと、こうなります。モデルはまず、今なにが足りないかを考える。この判断には前回の判定が要る、と気づけば、台帳を照会する道具を呼ぶ。返ってきた前回の値を見て、次は基準の表が要る、と判断し、基準を引く道具を呼ぶ。こうして、考える、道具を呼ぶ、結果を見てまた考える、という往復をくり返し、必要な材料がそろったところで答えを組み立てる。判断を一発で出すのではなく、調べ、照らし、組み立てる。人が点検の判断でやっていることに、少し近づきます。ただし、往復のどこかで道具の使い方を誤れば、間違った材料の上に、もっともらしい判断が積み上がる。だから、各ステップの結果を確かめる仕組みも、あわせて要ります。
それでも、越えてはいけない線が残ります。第4回で見たとおり、制度は、健全性の診断と、措置を決める判断を、機械の外に置いています。VLMがどれだけ流暢に、根拠らしきものを添えて判断を述べても、その最終的な決定と責任は、人と道路管理者に残る。VLMは、人が判断するための材料を、文脈とともにそろえ、決められた枠に収めて差し出すところまで。そこから先の一線は、人が引く。判断を助けることと、判断を代わることは、別なのです。
おわりに
VLMは、視覚エンコーダと橋渡しの層と言語モデルからなり、画像と説明文の対で学ぶことで、画像を言葉として扱えるようになります。視覚質問応答やグラウンディングは、その現れです。ただし、点検の判断に使うには、文脈を外から与えるRAGの仕組みが要る。文脈がなければ、モデルはhallucinationで、もっともらしく空白を埋めてしまう。第5回で作った「覚えている器」が、ここで差し込む文脈になります。
そして判断の出力は、なめらかな文章ではなく、所見の四点と十語ほどの統制語彙という、制度の枠に収める。工法には踏み込まない。生成AIは、システムの全体ではなく、三条件を満たす仕組みのなかの一つの部品であり、診断と措置を決める最終の一線は、人と道路管理者に残ります。
次回からは、判断の先、行動の段階に入ります。第7回は、どこへ行って何を撮るかを決める、ナビゲーションと運動計画です。自律で「行って撮る」を、どう成り立たせるかを掘り下げます。
本記事は「Physical AI 点検・保全 講座」シリーズの第6回です。次回は、ナビゲーションと運動計画を扱います。スライド資料（PDF）は無料でダウンロードいただけます。
出典
- 出典：Singh et al., "Agentic Retrieval-Augmented Generation: A Survey", arXiv:2501.09136 (2025) Fig.3
- VLMアーキテクチャ実例図：Liang et al. "A Comprehensive Survey and Guide to Multimodal Large Language Models in Vision–Language Tasks." Computation 14(6):125 (2026) Fig.3. CC BY 4.0
- 国土交通省 道路局「橋梁定期点検要領 運用の手引き」（所見の四点・工法記述の禁止・措置の統制語彙）
- 国土交通省 道路局「橋梁・トンネル 点検支援技術 性能カタログ」（診断AIは対象外）／「道路橋定期点検要領」（診断・措置の判断は人・道路管理者）
- VLM（視覚言語モデル）・対比事前学習（CLIP系）・grounding・VQA・RAG・エージェントは、生成AI／基盤モデルの一般的な仕組みに基づく（特定製品の性能値は含まない）
- 本講座 第1回・第2回（生成AIは環のなかの部品／三条件）