WarehousePG는 고동시성 BI 워크로드의 비용과 성능을 어떻게 개선할까?
작성자: Dave Stone, Jack Christie (2025년 12월 16일)
1. 교보문고가 직면한 클라우드 DW 비용 문제
“50TB 규모의 클라우드 데이터 웨어하우스(CDW)를 운영하면서, 감당할 수 없을 정도로 치솟는 비용 문제 때문에 밤잠을 설쳤습니다.”
대한민국의 대표적인 서점인 교보문고 IT 지원팀의 정흥식 팀장이 설명한 실제 고민입니다.
클라우드 DW의 종량제(Consumption-based) 과금 모델은 초기 도입 단계나 간헐적인 데이터 엔지니어링 작업에는 효율적일 수 있습니다. 하지만 수백 명의 현업 사용자가 동시에 대시보드를 새로고침하고 보고서를 조회하는 고동시성(High-concurrency) BI 워크로드에서는 상황이 달라집니다. 쿼리와 리소스 사용량이 증가할수록 비용도 함께 증가하기 때문에 비용을 사전에 예측하고 관리하기 어려워질 수 있습니다.
교보문고는 50TB 규모의 데이터를 관리하면서 이러한 문제에 직면했습니다. 대시보드를 업데이트할 때마다 비용이 발생하면서 분석팀은 데이터 분석뿐 아니라 비용 관리에도 상당한 시간을 투입해야 했습니다.
2. 고동시성 BI 워크로드는 무엇이 다를까?
클라우드 DW는 대규모 일괄 처리(Batch ETL)나 머신러닝 모델 학습처럼 특정 시점에 많은 리소스를 사용한 뒤 다시 축소하는 워크로드에 적합합니다. 반면 BI 환경에서는 많은 사용자가 지속적으로 데이터에 접근하기 때문에 다른 방식의 리소스 관리가 필요합니다.
- 상시 접속: 현업 담당자, 데이터 사이언티스트, 재무 분석가뿐 아니라 AI 에이전트까지 지속적으로 쿼리를 실행할 수 있습니다.
벤치마크 결과에 따르면 수십억 건의 데이터를 대상으로 수백 명의 사용자가 동시에 접속했을 때 플랫폼별로 다음과 같은 차이가 나타났습니다.
| 비교 항목 | 일반적인 클라우드 DW (CDW) | WarehousePG 기반 아키텍처 |
|---|---|---|
| 인프라 확장 | 동일 작업에 5개 클러스터 가동 | 2개 클러스터로 처리 |
| 응답 대기 | 리소스 할당 문제로 30초 이상 지연 | 지연을 최소화해 빠르게 응답 |
| 쿼리 성공률 | 접속량 증가 시 약 4% 실패 발생 | 안정적인 처리 유지 |
| 비용 효율 | 자동 확장(Auto-scaling)으로 73% 높은 비용 | 예측 가능한 비용 구조 |
3. AI 에이전트 시대에 동시성이 중요한 이유
에이전틱 분석(Agentic Analytics) 환경에서는 자율형 AI 에이전트가 사람보다 훨씬 많은 쿼리를 짧은 시간 안에 실행할 수 있습니다. 에이전트가 데이터를 조회하고 결과를 평가한 뒤 이를 바탕으로 추가 쿼리를 반복적으로 실행하기 때문입니다.
따라서 사용량에 따라 비용이 증가하는 데이터 웨어하우스에서는 AI 에이전트의 쿼리 증가가 곧 비용 증가로 이어질 수 있습니다. AI 워크로드가 확대될수록 동시성 처리 성능뿐 아니라 비용 구조도 함께 고려해야 하는 이유입니다.
4. 클러스터 확장 방식과 비용 구조의 차이
일반적인 클라우드 DW는 수요가 증가하면 추가 컴퓨팅 리소스나 클러스터를 할당해 처리량을 높입니다. 이 과정에서 사용하는 리소스가 늘어나면 비용도 함께 증가할 수 있습니다.
반면 BI 워크로드는 업무 시간과 사용자 규모 등 일정 부분 수요를 예측할 수 있습니다. 따라서 고동시성 워크로드에서는 단순히 리소스를 자동으로 확장하는 방식뿐 아니라, 필요한 처리 용량과 비용을 사전에 계획할 수 있는 아키텍처도 중요한 선택 기준이 됩니다.
5. Postgres 기반 MPP 아키텍처와 WarehousePG
WarehousePG는 MPP(Massively Parallel Processing, 대규모 병렬 처리) 아키텍처를 기반으로 데이터를 여러 세그먼트에 분산하고 병렬로 처리합니다. 이를 통해 고동시성 워크로드에서도 여러 사용자의 쿼리를 효율적으로 처리할 수 있도록 설계되었습니다.
MPP 아키텍처란? 데이터를 여러 세그먼트(Segment)에 분산 저장하고 동시에 병렬로 처리하는 방식입니다. 예를 들어 1,600만 건의 데이터를 16개 세그먼트에 분산하면 각 세그먼트가 할당된 데이터를 병렬로 처리할 수 있습니다.
테스트 결과에서 WarehousePG 기반 아키텍처는 비교 대상인 클라우드 DW 대비 약 62% 낮은 비용을 기록했으며, 동시성 처리 효율은 63% 높게 나타났습니다.
6. MNTN과 Euronext FX의 WarehousePG 활용 사례
- MNTN: 페타바이트 규모의 광고 데이터를 처리하면서 성능과 함께 장애 발생 시 대응할 수 있는 EDB Postgres AI의 엔터프라이즈 지원 체계를 활용하고 있습니다.
- Euronext FX: 특정 벤더에 대한 종속성을 줄이기 위해 Greenplum에서 WarehousePG로 전환했습니다. 기존 데이터를 이동하지 않고 바이너리를 교체하는 방식으로 마이그레이션을 진행했습니다.
7. 고동시성 워크로드에서 비용 예측 가능성이 중요한 이유
안정적인 BI 워크로드를 운영하는 기업에서는 필요에 따라 리소스를 확장하는 탄력성뿐 아니라 비용을 사전에 예측하고 관리할 수 있는 구조도 중요합니다.
- 종량제 플랫폼: 실제 사용량과 추가 리소스 할당에 따라 비용이 달라질 수 있습니다.
- 코어 기반 과금(WarehousePG): 필요한 처리 용량을 기준으로 코어를 구성하기 때문에 워크로드 증가에 따른 소프트웨어 비용을 보다 예측 가능하게 관리할 수 있습니다.
교보문고는 기존 클라우드 환경을 유지하면서 분석 워크로드에 WarehousePG를 활용하는 방식을 선택했습니다. 이를 통해 기존 인프라와 보안 요건을 유지하면서 비용이 많이 발생하는 분석 쿼리를 별도의 WarehousePG 환경에서 처리할 수 있도록 구성했습니다.
이를 통해 다음과 같은 운영상의 변화를 확보했습니다.
- 비용 관리: 사용량 기반 과금 대신 코어 기반 과금을 적용해 비용 예측 가능성 향상
- 분석 성능: 대시보드 도구(Tableau)와 직접 연결해 분석 환경의 응답 성능 개선
- 운영 효율: 데이터 웨어하우스 운영 및 관리 효율 향상
고동시성 BI 또는 AI 워크로드로 인해 클라우드 데이터 웨어하우스의 리소스와 비용이 지속적으로 증가하고 있다면, EDB Postgres AI for WarehousePG의 MPP 아키텍처와 코어 기반 비용 구조를 함께 검토해 볼 수 있습니다.