1-1. ETL (Extraction, Transformation and Load)#

• 개념: 데이터의 이동과 변환 절차. 데이터 원천에서 데이터를 추출·변형하여 ODS/DW/DM(Data Mart)에 적재

• 3대 기능 ★

  기능	내용
  Extraction(추출)	데이터 원천들로부터 데이터 획득
  Transformation(변형)	클렌징·형식 변환·표준화·통합, 비즈니스 룰 적용
  Load(적재)	변형 완료된 데이터를 DW·DM 등 대상 시스템에 적재

• 작업 과정(5단계): ①Interface(인터페이스) → ②Staging(스테이징: 원천에서 추출해 스테이징 테이블에 저장) → ③Profiling(프로파일링: 특성·품질 측정) → ④Cleansing(클렌징: 보정) → ⑤Integration(인티그레이션: 충돌 해소·통합) → (⑥Denormalizing 비정규화)

• 특징: 배치(Batch) 프로세스 중심, 대용량 데이터 교환에 활용 ★(EAI=실시간과 대비됨)

1-2. ODS (Operational Data Store, 운영 데이터 스토어)#

• 개념: 추가 작업을 위해 다양한 원천으로부터 데이터를 추출·통합한 DB. 실시간(근접 실시간) 트랜잭션, 원자성(개별성)을 지닌 낮은 단위(수준)의 데이터를 처리 ★

• 이후 DW로 이관되어 보고서 생성·분석에 활용

• 구성 6단계 (인터페이스 → 스테이징 → 프로파일링 → 클렌징 → 인티그레이션 → 익스포트) ★

  단계	내용
  ①인터페이스	다양한 이기종 원천(관계형 DB, 스프레드시트, 웹, XML 등)으로부터 데이터 획득. OLEDB·ODBC·FTP 등 프로토콜 사용
  ②데이터 스테이징	원천에서 트랜잭션 데이터 추출 → 스테이징 테이블 저장. 정규화 배제, 스키마는 원천 구조에 의존적. 매핑은 1:1 또는 1. 적재 시 타임스탬프·체크섬 등 통제 정보 추가. 정기 ETL과 실시간 ETL 혼용 가능 ★
  ③데이터 프로파일링	데이터 특성·품질 측정(범위·도메인·유일성 확보 등). “선진 프로파일링 → 결과 리뷰” 절차
  ④데이터 클렌징	프로파일링 결과 기반 오류 데이터 보정(클렌징 스테이징 테이블)
  ⑤데이터 인티그레이션	클렌징된 데이터 충돌 해소·통합(인티그레이션 스테이징 테이블)
  ⑥익스포트	통합된 데이터를 익스포트 규칙·보안 규칙 적용 후 DW·DM 등 타 시스템으로 전송

1-3. DW (Data Warehouse, 데이터 웨어하우스)#

• 개념: ODS를 거친 정제·통합 데이터가 적재되는 의사결정 지원용 DB

• 4대 특징 ★ (주·영·통·시)

  특징	내용
  주제 중심성(Subject-Oriented)	업무 기능이 아닌 주제(고객·상품 등) 중심으로 구성
  영속성·비휘발성(Non-volatile)	적재 후 읽기 전용, 삭제·갱신되지 않음
  통합성(Integrated)	여러 원천의 데이터를 일관된 형식으로 통합
  시계열성(Time-Variant)	시간에 따른 이력(스냅샷) 데이터 보관

• 테이블 모델링(스키마) ★★

  구분	스타 스키마(Star Schema)	스노우 플레이크 스키마(Snowflake)
  특징	조인 스키마라고도 함. 가장 단순. 사실(Fact) 테이블=제3정규형, 차원(Dimension) 테이블=제2정규형	스타 스키마의 차원 테이블을 제3정규형으로 정규화한 형태
  장점	복잡도 낮음·이해 쉬움·쿼리 작성 용이·조인 테이블 적음	중복 제거 → 적재 시간 단축
  단점	데이터 중복 → 적재 시 많은 시간 소요	복잡성↑·조인 테이블↑·쿼리 난이도↑

• ODS vs DW 비교 ★

  구분	ODS	DW
  데이터	실시간·원자성(트랜잭션) 낮은 수준	요약·통합된 이력 데이터
  갱신	지속적 갱신(현재 상태)	비휘발성(갱신 X, 스냅샷 누적)
  목적	운영·현재 업무 지원	중장기 분석·의사결정 지원

1-4. CDC (Change Data Capture, 변경 데이터 캡처)#

• 개념: DB 내 데이터의 변경(삽입·갱신·삭제)을 식별해 필요한 후속 처리(전달·가공·적재)를 자동화하는 기술. 실시간/근접 실시간 데이터 통합에 활용

• 구현 기법 ★★

  기법	내용
  Time Stamp on Rows	마지막 변경 시점 타임스탬프 칼럼 → 이전 시점 이후 변경 식별
  Version Numbers on Rows	변경 시 버전 번호 증가. 레코드 최신 버전을 기록·관리하는 참조 테이블 함께 운영 ★
  Status on Rows	변경 여부를 불리언 상태 칼럼으로 표시. 타임스탬프·버전넘버 기법의 보완 용도로 활용 가능 ★(기출: “활용될 수 없다” → 오답)
  Time/Version/Status on Rows	위 세 기법 결합, 정교한 관리
  Triggers on Tables	DB 트리거로 변경 시 이벤트 처리. 단, 시스템 관리 복잡도 증가·성능 저하 유발
  Event Programming	애플리케이션에 변경 식별 코드 구현. 개발 부담·복잡도 증가하나 다양한 조건의 CDC 구현 가능 ★
  Log Scanner on Database	DB 트랜잭션 로그 스캔·해석. 장점: DB·애플리케이션 영향 최소화, 변경 식별 지연 최소화, 트랜잭션 무결성 영향 최소화, 스키마 변경 불필요 ★(단, “관리 복잡도 증가”는 특징 아님—기출)

• 구현 방식 ★: 푸시(Push) = 원천에서 변경을 식별해 대상에 통보 / 풀(Pull) = 대상에서 원천을 주기적으로 확인

1-5. EAI (Enterprise Application Integration, 기업 애플리케이션 통합)#

• 개념: 기업 내/기업 간 이질적 정보 시스템들의 데이터를 연계·통합하는 소프트웨어·아키텍처 프레임워크. 프로세스·메시지 차원에서 통합 관리

• 연계 방식 ★★: 기존 = PTP(Point-to-Point) 1:1 연결(복잡도·유지보수비용↑) → EAI = Hub and Spoke (허브라는 단일 접점을 통한 중앙집중식 연결. 연결 개수 감소)

• EAI = 실시간 통합·연계 / ETL = 배치 프로세스 중심 ★★

• 구성요소: ①어댑터(Adapter: 각 시스템 연결) ②버스(Bus: 전송 통로) ③브로커(Broker: 라우팅·변환 조정) ④트랜스포머(Transformer: 데이터 형식 변환)

• 구현 유형 ★: Mediation(중개, Publish/Subscribe Model — 이벤트 발생 시 관련 시스템에 전달) / Federation(연합, Request/Reply Model — 요청을 취합해 응답)

• 활용 효과 ★(기출: “CDC 메커니즘 구현”은 효과 아님): 개발·유지보수 비용 절감 / 정보 시스템의 지속적 발전 기반 / 협력사·파트너·고객과 상호 협력 프로세스 연계 / 웹서비스 등 인터넷 비즈니스 토대 / 지역적으로 분리된 시스템 간 데이터 동기화 / 그룹·지주회사 계열 간 데이터 표준화 기반

• EAI vs ESB(Enterprise Service Bus) ★★

  구분	EAI	ESB
  기능	미들웨어(Hub)로 비즈니스 로직 중심 Application 통합·연계	미들웨어(Bus)로 서비스 중심 시스템 유기적 연계
  통합 관점	Application	Process(서비스)
  로직 연동	개별 Application에서 수행	ESB에서 수행
  아키텍처	허브를 이용한 중앙집중식 연결	버스 형태의 느슨하고 유연한(Loosely-coupled) 연결

1-6. 대용량 비정형 데이터 처리 (수집)#

• 로그 데이터 수집 시스템 예 ★: 아파치 Flume-NG(소스 서버에 에이전트 설치, 에이전트로부터 데이터를 받는 콜렉터로 구성) / 페이스북 Scribe(중앙집중 서버로 전송) / 아파치 Chukwa(분산 환경 데이터를 HDFS에 안정적으로 저장) (+Kafka도 비정형 수집 기술 ★)
• 비정형 데이터 수집 시스템 특징 4가지 ★: ①초고속 수집 성능과 확장성 ②데이터 전송 보장 메커니즘(전송 단계별 신호 교환으로 유실 방지) ③다양한 수집·저장 플러그인 ④인터페이스 상속을 통한 애플리케이션 기능 확장
• 정형 데이터 수집(연동): Sqoop(스쿱), Hiho(히호) — 하둡 ↔ 관계형 DB 간 데이터 연동 솔루션(오픈소스). Import(RDB→하둡)와 Export(하둡→RDB) 모두 가능 ★(기출: “하둡→RDB 불가능” → 오답)

1-7. 하둡(Hadoop)과 에코시스템#

• 하둡: 대용량 데이터의 분산 저장(HDFS)·분산 처리(MapReduce)를 위한 오픈소스 프레임워크

• 특징 4가지 ★: ①선형적인 성능과 용량 확장(노드 추가만으로 확장) ②고장 감내성(데이터 3중 복제, 작업 오류 시 다른 서버에서 자동 재실행) ③핵심 비즈니스 로직에 집중(고장 감내·복구를 시스템이 알아서 수행) ④풍부한 에코시스템

• 하둡 에코시스템 기술 총정리 ★★★ (기능-기술 매칭 문제 최다 출제)

  기능	기술
  비정형 데이터 수집	척와(Chukwa), 플럼(Flume), 스크라이브(Scribe)
  정형 데이터 수집(연동)	스쿱(Sqoop), 히호(Hiho)
  분산 데이터 저장	HDFS
  분산 데이터베이스	HBase
  분산 데이터 처리	맵리듀스(MapReduce)
  리소스 관리	얀(YARN) — 맵리듀스 단점 극복 위해 시작, 분산 애플리케이션용 자원 관리 프레임워크 ★
  인메모리 처리	아파치 스파크(Spark)
  데이터 가공	피그(Pig: Pig Latin 언어로 복잡한 MapReduce 프로그래밍 대체—100줄→10~20줄 ★), 하이브(Hive)
  데이터 마이닝	머하웃(Mahout) — 하둡 기반 데이터 마이닝 알고리즘 오픈소스 라이브러리
  실시간 SQL 질의	임팔라(Impala), 타조(Tajo)
  워크플로우 관리	우지(Oozie: 하둡 작업 관리 워크플로우·코디네이터), 아즈카반(Azkaban)
  분산 코디네이션	주키퍼(Zookeeper)

2-1. 분산 데이터 저장 기술#

2-2. 분산 컴퓨팅 기술#

2-3. 클라우드 인프라 기술#

• 클라우드 컴퓨팅: 동적으로 확장 가능한 가상화 자원들을 인터넷으로 서비스하는 기술

  유형	풀네임	내용
  IaaS	Infrastructure as a Service	서버·스토리지·네트워크 등 인프라 자원 대여 (서버 가상화 기술 주로 활용)
  PaaS	Platform as a Service	개발·구현에 필요한 플랫폼 제공 (아마존 S3·EC2가 최초 실현 ★)
  SaaS	Software as a Service	소프트웨어를 웹에서 사용하게 해주는 서비스