일반적인 데이터베이스는 데이터 유형에 상관없이 정보의 모든 집합체를 말하지만(ex usb에 있는 모든 파일)

그러나 데이터 웨어하우스는 이러한 분산된 데이터 중 특수한 목적을 위해 띄워낸 것. 보통 의사결정을 위해

영업부를 위한 웨어하우스, 생산부를 위한 웨어하우스 이런식으로 데이터베이스에 있는것을 창고로 저장한다 라고 해서 웨어하우스라고 부른다.

데이터 마트는 여기서 조금 더 진화해서 그냥 가저오는거에 국한되지 않고, 가져온 테이블들을 조인해서 새로운 테이블을 생성하여 새로운 BI, 모니터링에 활용한다. BW보다 조금 더 세부적인 목표달성을 위해 활용한다.

DW는 철저하게 정형화 되어있는데, 그 반면에 Data Lake는 비정형화된 데이터를 저장하기위한 새로운 개념이다

DB · DW · DM · Data Lake#

Database (DB)#

운영 업무를 위해 정형 데이터를 저장·관리하는 시스템이다. 회원, 주문, 생산, 재고 등 업무 데이터를 저장하며 입력·수정·삭제가 빈번한 OLTP 환경에서 사용된다.

Data Warehouse (DW)#

여러 운영 DB의 데이터를 ETL 과정을 통해 통합하여 의사결정을 지원하는 저장소이다. 정제된 전사 데이터를 저장하며 OLAP, BI, 리포팅에 활용된다.

특징: 주제지향성, 통합성, 시계열성, 비휘발성

Data Mart (DM)#

DW의 데이터 중 특정 부서나 업무 목적에 필요한 부분만 구성한 저장소이다. 영업, 마케팅, 생산 등 부서별 분석과 대시보드에 활용된다.

Data Lake#

정형·반정형·비정형 데이터를 가공 전 원시 형태로 대규모 저장하는 저장소이다. 로그, 이미지, 영상, 센서 데이터 등을 저장하며 빅데이터 분석과 머신러닝에 활용된다.

관계#

1
운영 DB 및 외부 데이터
2
        │
3
        ├── 원시 데이터 저장 → Data Lake
4
        │
5
        └── ETL·정제·통합 → Data Warehouse
6
                              │
7
                              ├── 영업 Data Mart
8
                              ├── 생산 Data Mart
9
                              └── 마케팅 Data Mart

비교#

구분	DB	DW	DM	Data Lake
목적	운영	전사 분석	부서별 분석	대규모 원천 데이터 저장·분석
데이터	주로 정형	정제된 정형	DW의 일부	정형·반정형·비정형
가공 상태	구조화됨	정제·통합됨	목적별 가공됨	원시 상태 중심
활용	거래 처리	BI·OLAP	부서별 BI	빅데이터·머신러닝
스키마	저장 전 정의	저장 전 정의	저장 전 정의	사용 시 정의 가능