Yodo Labs
← ケーススタディ一覧に戻る

公開日 2025年7月1日

著者 潘 秀曦 博士

オンプレミスLLMデプロイメント用NVIDIA H100 GPUサーバー

エンタープライズ金融ワークフローを支えるセキュアなオンプレミスLLMの設計

エグゼクティブサマリー

大手グローバル金融グループは、Large Language Models（LLM）を活用して複雑な金融ワークフローを自動化し、プロプライエタリデータを分析する必要がありました。しかし、社内のセキュリティポリシーおよび GDPR 関連のガバナンス制約により、商用クラウド AI API の利用は許容されませんでした。Yodo Labs は 100% オンプレミスの LLM エコシステムをオーダーメイドで設計・構築しました。高度なオープンウェイトモデル、精密なデータサニタイズ処理、高性能な推論スタックを組み合わせることで、データ転送リスクと商用ホスト型 AI API への依存を大幅に低減しながら、最先端の AI 能力をクライアントに提供しました。

課題：コンプライアンスが阻むイノベーション

クライアントのアナリストは、膨大な SEC 提出書類、社内ピッチ資料、プロプライエタリなリサーチモデルからインテリジェンスを手作業で抽出するために何千時間も費やしていました。競争優位性を維持するためには、高度な金融推論が可能な AI エンジンが必要でした。

しかし、アーキテクチャ上の行き詰まりに直面していました：

絶対的なデータプライバシー要件： 社内のセキュリティポリシーと GDPR 関連の転送・ガバナンス制約により、プロプライエタリな金融データや個人識別情報（PII）をサードパーティのクラウドプロバイダー（例：OpenAI、Google）に送信することは許容されませんでした。公開 AI ツールを通じた機密コードやデータの漏洩に関する業界の著名な事案が、この方針をさらに強固なものにしていました。

金融専門用語とハルシネーション： 汎用モデルは金融領域の深いリテラシーを欠いており、「ハルシネーション」——もっともらしいが事実と異なる指標を生成する問題——が頻発していました。グローバル金融において、たった一つのハルシネーションによるデータポイントが壊滅的な取引エラーを引き起こしかねません。

スループットのボトルネック： 大規模モデルをローカルでホスティングすると、一般的に深刻なレイテンシが発生します。ハードウェアを闇雲にスケールアップするのではなく、効率的なサービング技術とハイエンド GPU を組み合わせて、制御されたインフラフットプリントで許容可能なパフォーマンスを達成することが課題でした。

Yodo Labs のソリューション：オーダーメイドのオンプレミス AI エコシステム

Yodo Labs は、セキュアなエンドツーエンドのオンプレミス AI アーキテクチャを構築することで、クライアントを技術的な行き詰まりからエンタープライズ規模の本番展開へと導きました。当社のリサーチチームとデリバリーチームは、多層的な戦略を実行しました：

1. セキュアなデータサニタイズとガバナンス

モデルのトレーニングに先立ち、自動化されたデータサニタイズパイプラインを構築しました。このシステムは、固有表現認識（Named Entity Recognition）とルールベースのマスキング処理を組み合わせ、トレーニングコーパスから PII、クライアント識別情報、機密取引フィールドをマスキングします。これにより、モデルが機密情報を記憶するリスクを低減し、ファインチューニング時の機密フィールドへの直接的な露出を制限しました。

2. 戦略的モデル選定とパラメータ効率の高いファインチューニング（PEFT）

クローズドソース API に依存する代わりに、強力なオープンウェイト基盤モデル（Qwen 等）を選定し、クライアントのファイアウォール内にローカルデプロイしました。深い金融専門知識を付与するため、当社の ML エンジニアは Low-Rank Adaptation（LoRA）というパラメータ効率の高いファインチューニング手法を活用しました。これにより、全パラメータ再学習に比べてわずかな計算コストでプロプライエタリな金融専門用語を習得させることができ、かつこの設定においてはフル再学習よりも汎用的な能力をより良く維持することに貢献しました。

3. 高性能推論エンジニアリング

ローカルサーバー上でクラウドに匹敵する速度を実現するため、Yodo Labs は Triton Inference Server と vLLM バックエンドを組み合わせた最適化済みの推論サービングスタックを構築しました。PagedAttention によるメモリフラグメンテーションの排除と、最先端の NVIDIA H100 GPU へのデプロイにより、アナリスト向けワークロードにおけるスループットとレイテンシを改善しました。

4. ローカル RAG による検証可能な精度

ハルシネーションリスクの低減と監査可能性の向上のため、ローカル化された Retrieval-Augmented Generation（RAG）アーキテクチャを統合しました。アナリストが質問すると、システムはセキュアなベクトルデータベースから関連する社内ドキュメントを検索し、LLM にソースの引用を求めます。これによりグラウンディングとトレーサビリティが大幅に向上し、アナリストは参照元の資料に基づいて生成されたインサイトを検証できるようになりました。

成果：戦略的自律性とスケーラブルな ROI

AI をパブリッククラウドから切り離すことで、Yodo Labs は金融セクターの妥協なき要求に応える変革的なソリューションを提供しました。

  • 揺るぎないセキュリティ： 企業ファイアウォール内での 100% ローカルデータ処理を実現。サードパーティ API への露出を排除し、コンプライアンスリスクとデータ転送リスクを大幅に低減しました。
  • 飛躍的な業務効率化： アナリストの業務が手作業によるデータ収集から高付加価値な戦略的分析へと移行し、決算説明会内容の分析や複雑なコンプライアンスレポートの作成に要する時間が大幅に短縮されました。
  • 戦略的自律性： クライアントは運用コストを再利用可能な社内 AI 能力へと転換することに成功しました。自社の方法論に正確に合わせたオーダーメイドの金融推論エンジンを保有し、商用ホスト型 AI API への依存を低減するとともに、モデルスタックに対する戦略的コントロールを強化しました。
  • モジュラーインフラストラクチャ： Yodo Labs が構築したモジュラーアーキテクチャは、クライアントの要件の進化に応じて将来のエージェンティックワークフローにも対応可能な基盤を提供します。

References

  1. LoRA: Low-Rank Adaptation of Large Language Models. Microsoft Research
  2. NVIDIA Triton Inference Server , vLLM Backend. NVIDIA Docs
  3. Efficient Memory Management for Large Language Model Serving with PagedAttention. vLLM / Hugging Face Papers
  4. International Data Transfers under GDPR. European Data Protection Board