데이터 웨어하우스의 작동 방식
유용한 정보를 추출하기 위해 비즈니스의 여러 부문에서 데이터를 취합하는 실행 계획은 비즈니스가 성장함에 따라 복잡해질 수 있습니다. 데이터 웨어하우스는 해당 정보를 단일 데이터베이스 및 데이터 모델로 통합하는 안정적인 방법을 제공함으로써 애널리스트가 쿼리를 실행할 수 있도록 지원합니다.
작동 방식은 다음과 같습니다:
- 추출: 조직 전체의 다양한 소스(예: ERP, CRM, 영업, 마케팅)에서 원시 데이터를 스테이징 데이터베이스로 취합
- 변환: 스테이징 레이어의 데이터를 통합 레이어로 전송하여 ODS(Operational Data Store)로 결합 및 변환
- 로드: 애널리스트가 관계형 데이터베이스(쓰기 스키마)에 해당 데이터를 쓰기 전에 SQL 쿼리에 사용할 스키마를 정의하는 방법으로 데이터는 통합 레이어에서 데이터 웨어하우스로 이동
사용자가 데이터 웨어하우스에서 사용하는 데이터베이스는 관계형이므로, 데이터는 정형화되어 열과 행으로 구성된 테이블에 저장됩니다. 이러한 테이블은 쓰기 중에 정의되는 스키마에 따라 체계화됩니다.
변환 단계가 데이터 웨어하우스 외부에 있는 ODS에서 처리되는 경우, 이를 ETL(추출, 변환, 로드)이라고 합니다. 데이터 웨어하우스에서 변환을 내부적으로 처리할 경우, 이를 ELT(추출, 로드, 변환)라고 합니다. ETL 또는 ELT 중 어느 것을 이용하든 관계형 데이터베이스를 사용하려면 데이터 웨어하우스에 정형 데이터와 쓰기 스키마가 있어야 합니다.
데이터 웨어하우스는 어떻게 사용될까요?
데이터 웨어하우스의 일반적인 적용 사례는 다음과 같습니다:
- OLTP (온라인 트랜잭션 처리): 데이터 웨어하우스는 대용량의 짧은 데이터 트랜잭션을 처리하기 위한 데이터 무결성 및 고속 쿼리에 최적화될 수 있습니다. 거래 빈도가 높은 트레이딩 플랫폼에서 발생하는 트랜잭션이 대표적입니다.
- OLAP (온라인 분석 처리): 비교적 적은 양의 트랜잭션의 더 빠르고 복잡한 쿼리를 위해 데이터 웨어하우스를 최적화할 수도 있습니다. 애널리스트가 BI 보고서를 생성할 때 기본적으로 사용됩니다.
- 예측 분석: OLAP 시스템은 향후 이벤트를 예측하고 비즈니스를 위한 "가정적" 시나리오를 생성하도록 최적화될 수 있으며, 이는 주로 머신러닝 알고리즘과 함께 진행됩니다.
데이터 웨어하우스는 쓰기 스키마를 적용하므로, 데이터 웨어하우스에 스키마를 추가하기 전에 실행할 쿼리 유형을 미리 알고 있어야 합니다. 다양한 데이터 소스의 복잡성을 관리하기 위해 데이터 웨어하우스를 데이터 마트로 분할하여 CRM과 같은 특정 업무에 하드웨어 및 소프트웨어 리소스를 할당할 수 있습니다.
데이터 웨어하우스 vs. 데이터 레이크 vs. 데이터 허브
이 세 가지 개념은 서로 비슷한 것 같지만 분명한 차이가 있습니다.
- 데이터 웨어하우스: 조직 전반의 여러 비정형 데이터 소스에서 가져온 정형 데이터를 통합하고 저장하기 위한 단일 저장소입니다.
- 데이터 레이크: 한 조직 내의 모든 정형 및 비정형 로우(raw) 데이터 소스(데이터 웨어하우스 포함)를 위한, 가공되지 않은 단일 저장소입니다. 비즈니스 인텔리전스 인사이트를 도출하려면 데이터를 처리해야 합니다.
- 데이터 허브: 모든 정형 및 비정형 데이터를 중앙의 액세스 가능한 데이터 레이어로 통합하는 단일 인터페이스입니다. 운영 데이터도 처리할 수 있다는 점에서 데이터 웨어하우스와는 다르며, 여러 형식으로 데이터를 제공할 수 있다는 점에서 데이터 레이크와도 다릅니다.
데이터 허브는 다양한 엔드포인트 컬렉션 간의 데이터 공유를 간소화하는 데 필요한 데이터 거버넌스를 제공합니다. 데이터 허브는 이러한 방식으로 데이터 레이크와 데이터 웨어하우스를 단일 액세스 레이어로 통합합니다. 데이터 프로세싱은 데이터 허브 이면에서 추상화되어 조직에 BI 인사이트를 추출할 수 있는 중앙 집중식 장소를 제공합니다.
데이터 웨어하우스의 요구사항을 충족시키기 위해 퓨어스토리지를 선택해야하는 이유는 무엇일까요?
기존 데이터 웨어하우스 인프라에 새로운 OLAP 또는 OLTP 파이프라인을 추가해야 하는 경우, 퓨어스토리지의 올플래시 스토리지 솔루션을 선택하십시오. 더욱 현대적인 데이터 경험(Modern Data Experience™)을 제공합니다.
업계 최초의 데이터 허브인 퓨어스토리지® 플래시블레이드(FlashBlade®) 는 데이터 웨어하우스의 분석 및 보고 워크로드를 처리할 뿐만 아니라 데이터 허브의 필수적인 요건들도 구현할 수 있습니다:
- 모든 데이터 엔드포인트에서의 원활한 데이터 공유
- 초고속 통합 파일 및 오브젝트 스토리지
- 실시간 운영 데이터 처리
- 스케일-아웃 방식의 아키텍처
- 모든 유형의 데이터에 대해 다차원적 성능을 제공하도록 설계
- 소프트웨어부터 하드웨어까지 적용되는 대규모 병렬 아키텍처
