Blueprint 3 · Sovereign Data Lakehouse
オープンスタンダードに基づく独自のデータレイクハウス
クラウドベンダーへの依存や独自フォーマットは一切なし
自社が管理するインフラストラクチャ上で、自社が所有するオブジェクトストレージにApache Icebergを使用し、規制基準に準拠した分析を実現します。
オンプレミス、エアギャップ、または任意のクラウドにおいても、オープンフォーマットを提供
追加のツールなしで、Icebergスナップショットによる組み込みの時点クエリ監査が可能
Analytics EngineはLakekeeperを介して直接Icebergにクエリを実行、別のデータウェアハウスへのデータコピーは不要
構築概要
仕組み
アーキテクチャフロー
| 01 | 統合 | 運用中の EDB Postgres® AI (EDB PG AI) システムと外部データソースからのソースデータを Fivetran 経由で取込み、Airflow/Astronomer によって管理されたパイプラインスケジュールで調整。 |
| 02 | 変換 | dbt が Postgres に対してネイティブに SQL 優先の変換ロジックを実行し、ソースデータを規制およびコンプライアンスのスキーマ（BCBS 239、EBA ITS や OMOP CDM などの例）に整合させ、各実行ごとに完全な系譜とテスト可能性を保証。 |
| 03 | カタログ | Lakekeeper (Vakamo) が Iceberg テーブルのメタデータを全レイクハウス層で管理し、統一されたアクセス制御、系譜追跡、下流の利用者のための発見可能性を実現。 |
| 04 | ストレージ | データは MinIO オブジェクトストレージのオープンな Apache Iceberg フォーマットで保存され、完全にオンプレミスで、静止データの暗号化を実施。Iceberg のバージョン管理されたスナップショットモデルにより、追加のツールなしで時点監査が可能。クラウド依存なし、専用フォーマットなし、ベンダーロックインなし。 |
| 05 | 分析 | Analytics Engine (PGAA) が Lakekeeper カタログを通じて Iceberg テーブルに対して複雑な規制および分析クエリを実行し、Parquet に対するカラム加速を提供。 |
| 06 | 報告 | Metabase と Tableau が、規制に基づく出力、人口健康分析、およびサプライチェーンインテリジェンスを整備された Postgres インターフェースを通じてアナリスト、経営者、およびコンプライアンスチームに提供。PGAA と ClickHouse は、報告のための高性能なクエリを支援。 |
INDUSTRY USE CASES
Blueprint 3 in production
Airflow (Astronomer)
Apache Iceberg
dbt
Fivetran
Grafana
Jupyter
Lakekeeper (Vakamo)
Metabase
MinIO
Tableau
業界の活用事例
本番環境でのブループリント3
-
BFSIBFSI
規制報告とバーゼルIII/IV準拠
30の法域で200件以上の規制報告を作成するグローバル・システム上重要なある銀行（G-SIB）は、データ定義が統一されていない12のレガシーデータウェアハウスに年間5,000万ドル以上の規制関連テクノロジー投資を行っている。規制データを独立したIcebergレイクハウスに統合し、dbtがBCBS 239に準拠したデータ変換を管理し、Lakekeeperがデータリネージを提供することで、修正報告や監査不合格の原因となるデータの断片化を解消。すべてのデータは、各法域固有のデプロイメントに保持されている。
-
ヘルスケアヘルスケア
臨床データウェアハウスと人口健康分析
臨床データウェアハウスと集団健康分析 50の病院と8つの異なる電子カルテシステムからなるある大規模医療システムでは、企業レベルでの長期的な患者分析は困難だった。そこで、オンプレミスのMinIOに個人健康情報（PHI）を保存し、dbtが管理するOMOP CDMスキーマを備えたWarehousePGを臨床データウェアハウスとして導入することで、規制上の制約により従来不可能だったシステム横断的な患者照合や集団健康に関するクエリが可能になった。
-
テレコムテレコム
CDR分析と合法傍受コンプライアンス
ある全国規模の通信事業者は、規制遵守のため、7年分の通話詳細記録を、高コストで処理速度の遅いHadoopベースのアーカイブに保存していた。このCDRアーカイブを、クエリエンジンとしてAnalytics Engine（PGAA）を搭載したMinIO上のIcebergテーブルに移行することで、運用コストを大幅に削減しつつ、独立性とクエリ機能を備えたアーカイブを実現した。
-
製造業製造業
サプライチェーンのトレーサビリティとESG報告
自動車OEMは、バッテリー材料のサプライチェーン全体のトレーサビリティを示す必要があり、15年間の保証データの保持を維持しなければならない。サプライヤーデータ、製造MES、品質システム、フィールドサービスデータをつなぐ統合レイクハウスは、製品ライフサイクル全体にわたる完全な系譜クエリを可能にした。アイスバーグのタイムトラベル機能により、規制に関する問い合わせのための時点監査が実現した。
検証済みデプロイ環境
設計段階から独立性を確保：オンプレミス環境、あらゆるクラウド環境、またはハイブリッド環境全体で完全に動作し、あらゆる面でオープンフォーマットを採用。
オープンスタンダードに基づいて、独自のデータレイクハウスを構築しませんか？
規制関連ワークロードと分析ワークロードを、自社が管理するインフラストラクチャ上で、自社が所有するフォーマットを使用して実行できます。ソリューションエンジニアにご相談いただくか、アーキテクチャドキュメントをご覧ください。