【製品解説】ClickHouse 26.3.17.56

製品概要

1. ClickHouseとは？

ClickHouseは、リアルタイム分析および大量・高速なデータ処理向けに設計されたオープンソースのカラム型（列指向）データベースエンジンです。 EDB Postgres AI Analytics エコシステム内では、ClickHouseは「今、何が起きているか？」という問いに答える役割を担い、高ボリュームなライブデータに対してミリ秒単位・1秒未満（sub-second）の高速な集計結果を提供します。WarehousePGなどの従来のデータウェアハウスを補完し、Apache Iceberg® などの共通ストレージフォーマットを介して、複雑なETLパイプラインやデータの重複保持を必要とせずにシームレスに統合できます。

2. 主な機能

• カラム型ストレージとテーブルエンジン：
  • MergeTree ファミリー： 高スループットな分析ワークロード向けに最適化。
  • ReplicatedMergeTree： 複数ノード間での組み込みレプリケーション（複製）に対応。
  • Distributed エンジン： 仮想テーブルとして機能し、複数シャードへクエリを自動分散して結果を集約。
• 高可用性とノード間連携：
  • ClickHouse Keeper： Apache ZooKeeperとプロトコル互換性を持つ、Raftベースの組み込みコーディネーションサービス。レプリカの同期、データパートの追跡、分散DDLの実行を管理。
• 豊富な外部連携機能：
  • PostgreSQL / WarehousePG 連携： 標準のPostgresワイヤプロトコルを介し、テーブル関数、PostgreSQLテーブルエンジン、またはデータベースエンジンを使って直接の読み込み・書き込みが可能。
  • Iceberg カタログ・データレイク統合： DataLakeCatalog エンジンを使用し、Apache Iceberg カタログ（REST、AWS Glue、Hive、Databricks Unity Catalog、OneLake）の読み取りが可能。
  • オブジェクトストレージ対応： Amazon S3、Azure Blob Storage、HDFS、ローカルファイルシステム上のデータを直接クエリ可能。
  • その他のデータエンジン： Kafka、Delta Lake、MongoDB、Redis、MySQL などの連携エンジンを標準搭載。
• 高度なSQLとデータフォーマット：
  • 集計関数、ウィンドウ関数、共通テーブル式（CTE）、サブクエリ、プロジェクション、ロールベースアクセス制御（RBAC）、マテリアライズドビューなどの高度なSQL機能。
  • Parquet、JSON、CSV、Avro、ORC、Arrow などの主要データフォーマットをネイティブサポート。
• 柔軟なデプロイとトポロジ：
  • 単一ノード構成から、シャーディングとレプリケーションを組み合わせた分散クラスタ構成まで対応。
  • RPMパッケージ（Rocky Linuxなど）、Docker Compose、Kubernetes Operator（Altinityベース）による柔軟な導入が可能。

3. 主なメリット

• 圧倒的な高速性とパフォーマンス：
  • 毎秒数百万件のイベントデータを即座に取り込み、即座に検索可能。
  • 数十億行のデータに対して、少数列のスキャンや集計を1秒未満（sub-second）で実行。
• リアルタイム・即時性が求められるワークロードに最適：
  • IoTモニタリング、アドテク入札処理、不正検知、テレメトリ/ログ分析、同時アクセス数の多いユーザー向けダッシュボードなどに最適。
• 優れた水平スケーラビリティ：
  • 各ノードが独立してストレージを持つシェアードナッシング（Shared-nothing）アーキテクチャにより、シャーディングによって書き込み性能と容量をスケールアウト可能。
• 高可用性と耐障害性：
  • ClickHouse Keeperによるレプリケーション管理により、単一障害点のない冗長構成を実現。
• ゼロETLによるデータフェデレーション（統合利用）：
  • データの重複コピーや外部ETLパイプラインを構築することなく、Postgres/WarehousePGやIcebergデータレイクのデータをその場でクエリ可能。