クライアント概要
グローバル半導体メーカー。高度に自動化された前工程および先端パッケージング製造ラインを運用している。検査自動化は、現有のハードウェアで可能な限り推し進められた結果、ある段階で停止していた。重要な検査ポイントのいくつかが、密集した装置クラスター内部や、高速ロボットアームのエンドエフェクタ上に位置していたためである。従来型カメラは物理的に入らず、過去の小型カメラ試行も失敗し、これらのステーションでは手動検査が継続していた。
課題
従来型カメラを阻んでいた制約は三つあった。
スペース。本ラインで最も狭隘なステーションでは、装置間の利用可能体積は光軸方向で 1mm 未満である。従来型カメラは体積の大半をレンズスタックが占め、屈折レンズは最小焦点距離を必要とする。この差分を機構設計の工夫で吸収することはできない。
熱。過去の小型カメラ試行は、熱バジェットによって破綻していた。フォーカスアクチュエータとその制御電子回路が小型エンクロージャ内部で発熱し、温度上昇とともにセンサのノイズフロアが上昇し、自動検査が信頼できる範囲を超えて画像品質が劣化した。
機密性。従来型カメラは、人間が解読可能な映像を生産ネットワーク上に流す。伝送路を暗号化しても本質は変わらない。リンクの両端に、独自工具の認識可能な画像が存在し続けるからだ。クライアントのセキュリティチームは、すべてのインラインカメラを情報漏えいの重大なリスク面と扱っていた。その判断は正しい。
求められていた答えは「より小さなカメラを探す」ことではなかった。「カメラ起点」の検査ワークフローそのものが、この案件には合っていなかったのである。
何を導入したか
Contextual Agentic Vision Platform には、まさにこうしたエンベロープに向けた レンズレスセンサ オプションが存在する。レンズスタックでセンサへ集光する代わりに、CMOS センサの直前に薄い符号化マスクを配置する。モジュール全体の厚みは 1mm 未満。フォーカスモータなし、ズームなし、光路内に能動電子回路もない。入射光はマスクで擬似ランダムなパターン（系の点広がり関数、PSF）に変調され、センサ全面に拡散する。生の出力は、人間の目にはノイズに見える。
光学設計は Yodo Labs 創業者の先行研究に基づいており、Optics Letters [1] および Optics Express [2] に発表されている。WIRED、日本経済新聞、Phys.org、EurekAlert!、Tokyo Tech News などのメディアにも取り上げられた [3]。研究系列は東京工業大学 手島精一記念研究賞、および第 38 回 電気通信普及財団賞を受賞している [4]。
運用上重要なのは次の一点である。Platform の専門 CV モデル群は、符号化パターンを直接解析する。再構成画像を経由する必要がない。素朴なレンズレス運用であれば、符号化パターンを取得して再構成モデルで可視画像を生成し、その上で欠陥分類器を回す、という二段構成になる。モデル呼び出しは二回、レイテンシは倍、下流が実際には必要としない中間表現を生成しては捨てることになる。Platform 上のスカウト群は符号化パターンで直接学習されており、符号化パターン上で所見を生成する。再構成は、人間が画像を確認する必要が生じた場合にのみ動作する、別経路に置かれている。
センサと並んで、クライアントのエンジニアリング知識が Platform の コンテキストパック にロードされ、検査ごとに参照される。具体的には、ステーションごとの工程仕様シート、関連図面から抽出した寸法公差表、当該ステーションおよび隣接ステーションのロット単位検査履歴、そしてフラグされた所見のうち人間による確認を要するものを判定するオペレータレビューポリシーである。これらは汎用的な事前知識ではなく、クライアント自身が文書化したルールが、ライブで参照されている。チップアウト候補に対する分類器の判定が意味を持つのは、その ステーション、その 製品ファミリ における規格外の基準を定める公差行に照らした場合に限られる。Platform の推論はその公差行に対して固定される。
実運用では、これらのステーション一か所での典型的な検査サイクルは、Platform 内部のトレースとして次のように流れる。
vlm inspect station-7 lot LX-0418 frame#0418
delegate → lensless-scout · id-scout · history-lookup
collect ← encoded-frame · lot-id LX-0418-2 · prior 3 defects
classify direct-on-encoded · candidate: chip-out · conf 0.82
context tolerance 12µm · prior defects on same lot
decide flag · chip-out · ~14µm · escalate to operator
すべてのステップが符号化パターン上で動作する。欠陥分類器は符号化パターンで学習されている。位置特定ヘッドも同様。ホットパスに再構成は存在しない。
フラグされた所見が人間オペレータにエスカレーションされた場合に限り、Transformer ベースの再構成モデル [1] が承認済みワークステーション上で動作し、確認用の人間可読画像をレンダリングする。再構成はオペレータの端末内に留まる。生産ネットワーク上を流れるデフォルトのデータは、符号化ストリームである。
この構成が機能する理由
受動光学のため、管理すべき熱バジェットが存在しない。モジュール内にアクチュエータが存在しないため、過去の小型カメラを阻んできた熱バジェットの問題が成立しなくなる。モジュールが散逸するのはセンサ自身が散逸する分だけであり、これはラインが計画可能な熱バジェットだ。
サブミリ形状でも十分な信号量が得られる。小型化された従来型カメラは、相応に小さい絞りを通じて集光する。絞りが縮むほど SN 比は悪化する。レンズレスのマスクは、センサ全面で並列に入射光を変調する。サブミリ形状でも、下流の分類器を支えるのに十分な信号量が得られる。形状は制約条件ではなく選択肢となった。
ネットワーク上に人間可読な映像が流れない。符号化パターンは暗号学的な保証ではない。復号モデルとシステムパラメータの両方を取得した攻撃者は画像を再構成できる。それでも、クライアントのセキュリティチームが従来型カメラに対して指摘していたカジュアルな漏えい面は、実質的に縮小される。生産ネットワーク上のデフォルトは符号化形式であり、再構成は承認済みのローカルワークステーションに限定される。
本センサにおいては、符号化データ上で直接知覚する経路が正しい。先に再構成して後で分類する構成は、誤差が下流分類器に積み重なる中間表現を導入する。符号化表現上で直接動作する単段経路はこの伝播自体を回避するうえ、スカウト層モデルの学習方法を踏まえれば、本案件において信頼度が高い構成だった。
成果
これまで手動のみ、あるいはロボット搭載の自動化が困難で低サンプリングレートに留まっていた検査ポイントが、連続的な自動検査の対象に入った。突破口を開いたのはレンズレスセンサの形状である。Platform 上のそれ以外の構成要素（スカウト上位の VLM オーケストレータ、ジャッジ層、図面・公差・検査履歴を保持するコンテキストパック）は、クライアントの既存自動化ステーションと同一の構成のまま運用されている。
受動光学は、過去の小型カメラ試行を終わらせていた熱スロットリング起因の故障を排除した。モジュールは温度依存の劣化を起こすことなく、ライン上で連続稼働している。
生産ネットワーク上のデフォルトデータは符号化センサストリームであり、人間可読な映像は伝送中に存在しない。クライアントのセキュリティチームが従来型カメラに対して指摘していた漏えい面は、実質的に縮小された。
この構成は、同様の形状制約あるいは機密性制約のもとで Platform 上での検査運用を行う他のメーカーにも提供可能である。物理エンベロープに合わせてレンズレスセンサを選択し、符号化入力で動作するスカウトを有効化し、クライアントの図面と公差を内部コンテキストとしてロードし、再構成は承認済みのローカルワークステーションに限定する。Platform がオーケストレーションとセンサを提供する。クライアントは図面、公差、オペレータワークフローを保有する。
References
- Pan, X., Chen, X., Takeyama, S., Yamaguchi, M. "Image reconstruction with Transformer for mask-based lensless imaging." Optics Letters 47(7), 1843–1846 (2022). DOI: 10.1364/OL.455378. Code: github.com/BobPXX/Lensless_Imaging_Transformer.
- Pan, X., Chen, X., Nakamura, T., Yamaguchi, M. "Incoherent reconstruction-free object recognition with mask-based lensless optics and Transformer." Optics Express 29(23), 37962–37978 (2021). DOI: 10.1364/OE.443181. Code: github.com/BobPXX/LLI_Transformer.
- メディア掲載：WIRED Japan、日本経済新聞、Phys.org、EurekAlert!、Tokyo Tech News。
- 受賞：2022 年度（令和 4 年度）手島精一記念研究賞、第 38 回（2022 年度）電気通信普及財団賞 (公示 PDF)。