【製品情報】Analytics Lakehouse(Q3 2025)
Postgresをテラバイト級の大規模分析基盤へ変革する新機能 〜S3直結クエリとApache Iceberg連携により、ETL不要で劇的なコスト削減と超高速分析を実現:「EDB Analytics Lakehouse(2025年Q3提供)」は、PostgreSQLからAWS S3などの安価なオブジェクトストレージに蓄積された膨大なオープンフォーマットデータを、標準SQLを用いて直接かつ高速に分析可能にするソリューションです。コンピュートとストレージを分離した専用実行エンジンを搭載し、従来の複雑なETL処理を完全に排除。本番業務データベースの負荷を抑えながら、大規模なレポーティングやBIダッシュボード、機械学習モデル向けデータパイプラインを即座に構築できます。
1. レイクハウス概要
EDB Analytics Lakehouse は、Postgres を分析処理(OLAP)向けに強力に拡張する機能群です。AWS S3 をはじめとする安価なクラウドオブジェクトストレージに保存されたテラバイト級以上の巨大なデータセットに対し、使い慣れた標準 SQL で直接かつ極めて高速にクエリを実行できます。S3 上に分散配置された膨大なデータファイルを、あたかも Postgres 内部に存在する高速テーブルであるかのようにシームレスに扱える環境を提供します。
2. 主なメリット
高額な専用 DWH や複雑なデータ移動基盤を導入することなく、以下の優位性を享受できます。
- 分析クエリの圧倒的な高速化: データを列単位(カラムナ形式)でスキャンするため、不要な行データの読み込みを省き、集計やレポート処理を劇的に高速化します。
- ストレージコストの大幅削減: 肥大化する履歴・アーカイブデータを高価なデータベースディスクから切り離し、安価なオブジェクトストレージ(S3 等)へ安全に退避・保管できます。
- ETL パイプラインの完全排除: Postgres 内の「ライブな業務データ」と S3 上の「履歴データ」を単一の SQL 文で透過的に結合。システム側で自動処理されるため、データ抽出・変換・転送のバッチジョブが不要になります。
- オープン標準による脱ロックイン: Apache Iceberg などのオープンデータフォーマットを採用しており、Apache Spark をはじめとする外部の主要ツールからも同一データを直接読み書きできます。
3. 実現の仕組み
計算処理(コンピュート)とデータ保持(ストレージ)を完全に分離したクラウドネイティブ設計を採用しています。
- クラウドオブジェクトストレージ: 大規模データセットは、S3 バケットなどのオブジェクトストレージ内に構造化ファイルとして永続保管されます。
- オンデマンドの Lakehouse ノード: 分析クエリの実行時に通常の Postgres エンジンを占有せず、専用の高性能分析エンジンを搭載した「Lakehouse ノード」をオンデマンドで動的に起動します。
- 効率的なインメモリ分散処理: 専用エンジンが S3 上のカラムナデータを高速スキャンし、メモリ上で集約処理を実施。コンピュートリソースはクエリ実行時のみ消費されるため無駄がありません。
4. 主なユースケース
企業内に眠る大規模データの活用と業務プロセスの効率化において、多彩な効果を発揮します。
- 超高速 BI ダッシュボード: 数年分におよぶ膨大な履歴データを対象とした集計でもレスポンス待ちを起こさず、Tableau や Power BI でリアルタイムに可視化。
- 大規模ログ分析: S3 に蓄積されたテラバイト級のアプリケーションログやサーバーログに対し、SQL による直接的かつ横断的な調査を実行。
- 業務 DB に負荷をかけない定例レポート: 四半期末や年度末の大規模レポーティング処理を本番の OLTP トランザクション性能に一切影響を与えずに完遂。
- AI・機械学習向けデータ基盤: データサイエンスチームが推論や学習モデルのトレーニングに使用する大規模かつ整合性の取れたデータセットをオンデマンドで迅速供給。
5. Icebergの役割
クラウドストレージ上の大量ファイル群に対し、高度なデータベース機能をもたらす「インテリジェントな目次」として Apache Iceberg が機能します。
- 容易なスキーマ進化: 既存のテラバイト級データを全件書き換えることなく、テーブル列の追加や名称変更を瞬時に反映。
- ACID トランザクションによる高い信頼性: 複数システムからの同時書き込みが発生した場合でも、データの競合や破損を完全に防ぎます。
- タイムトラベル(過去データ参照): 過去の任意時点(昨日や先週など)のスナップショットデータを容易に照会でき、監査検証やレポートの再現実行を強力に支援。