데이터는 존재적특성과 당위적특성이 있음. 존재적특성은 존재 그 자체(객관적사실)이며, 당위적 특성은 추론예측전망추정을 위한 근거임.
데이터의 유형에는 정성적데이터와 정량적데이터로 나뉨 정성적데이터는 언어 문자 등 주관적 내용, 통계분석이 어렵고 저장하는데 많은 비용이 듬, 정량적 데이터는 주로 수치데이터로 객관적인 내용이며 통계분석이 용이함
암묵지는 겉으로 드러나지 않는 지식으로 경험같은거이며 사람들과 공유되기 어려움, 형식지는 형상화된 지식으로 문서나 매뉴얼로 만들어짐. 전달과 공유가 용이함. 공통화는 암묵지를 다른사람들과 공유하는것, 표출화는 암묵지를 형식지로 바꾸는것, 연결화는 형식지를 형식지로 만드는것, 내면화는 형식지를 암묵지로 만드는것
데이터는 DIKW피라미드 형태가 있음. Data는 객관적 사실, Info는 의미가 도출된것, 지식은 개인적인 경험과 결합하여 고유의 지식이 된거, 지혜는 의사결정에 활용되는 창의적 선물
데이터베이스는 공통저변(공용데이터, 통합된데이터(중복x), 저장된데이터, 변화하는 데이터(무결성))이어야 함
OLTP는 처리결과를 바로 돌려보내는 형태, OLAP는 의사결정에 활용할 수 있는 정보를 얻을 수 있게 하는기술, ERP, BI, RTE, EAI, EDW, KMS, EDI VAN, CALS 등등 약어 간단하게 정리
빅데이터는 양다속(3V)양, 다양성, 속도고 vlaue를 추가해서 4V라고도 함.
빅데이터는 원유 → 새로운 범주의 산업을 만들어냄. 후전양상(사후처리, 전수조사, 양, 상관관계)형태로 진화함.
데이터는 활용방식이 변화(누가 언제부터 활용했는지 모름), 새로운 가치창출, 분석기술의 발전으로 인해 가치산정이 어려움
빅데이터의 테크닉에는 연관규칙학습, 유형분석, 유전자알고리즘, 기계학습, 회귀분석, 감정분석이 무엇인지, 어떻게 활용되는지를 알아야함.
빅데이터시대에는 사생활침해, 책임원칙훼손, 데이터오용 등의 위기가있을 수 있고 동의에서 책임으로, 결과기반 책임원칙, 알고리즘접근을 허용해야한다.
빅데이터에는 인자기(인력, 자원, 기술)이 있어야함. 인력에는 특히 데이터사이언티스트와 알고리즈미스트가 있음.
데이터 사이언스의 영역에는 IT, 분석, 비즈니스가 있어야 함.
데이터 사이언티스트는 강력한 호기심을 가져야 하며, 하드스킬과 소프트스킬을 가지고 있어야함.
하드스킬은 빅데이터와 분석기술에 대한 숙련(주로 이과스킬), 소프트스킬은 통찰력있는 분석과 전달, 협력능력임
빅데이터는 가치 패러다임의 변화함. digitalization connection agency순서로
ADP 필기 1과목 「데이터 이해」 핵심 압축 요약
공식 범위: 1장 데이터의 이해 / 2장 데이터의 가치와 미래 / 3장 데이터 사이언스와 전략 인사이트
제1장 데이터의 이해
1-1. 데이터와 정보
-
데이터의 특성: 데이터에는 존재적 특성과 당위적 특성이 있음
- 존재적 특성: 존재 그 자체 = 객관적 사실
- 당위적 특성: 추론·예측·전망·추정을 위한 근거
-
데이터의 유형: 정성적 데이터와 정량적 데이터로 나뉨
구분 정성적 데이터 정량적 데이터 형태 언어, 문자 등 주로 수치 데이터 성격 주관적 내용 객관적 내용 통계분석 어려움 용이함 저장비용 많은 비용 소요 상대적으로 적음 -
암묵지 vs 형식지
- 암묵지: 겉으로 드러나지 않는 지식(경험 등). 사람들과 공유되기 어려움
- 형식지: 형상화된 지식. 문서·매뉴얼로 만들어짐. 전달·공유가 용이
-
SECI 지식전환 모델 (공표연내)
- 공통화(Socialization): 암묵지를 다른 사람들과 공유 (암→암)
- 표출화(Externalization): 암묵지를 형식지로 바꿈 (암→형)
- 연결화(Combination): 형식지를 형식지로 만듦 (형→형)
- 내면화(Internalization): 형식지를 암묵지로 만듦 (형→암)
-
DIKW 피라미드: 데이터는 DIKW 피라미드 형태를 가짐
단계 내용 Data(데이터) 객관적 사실 Information(정보) 데이터에서 의미가 도출된 것 Knowledge(지식) 개인적 경험과 결합하여 고유의 지식이 된 것 Wisdom(지혜) 의사결정에 활용되는 창의적 산물
1-2. 데이터베이스 정의와 특징
-
데이터베이스는 공·통·저·변이어야 함
- 공용 데이터(shared data): 여러 사용자가 공동 이용
- 통합된 데이터(integrated data): 중복 X
- 저장된 데이터(stored data): 컴퓨터가 접근 가능한 저장매체에 저장
- 변화하는 데이터(changeable data): 삽입·삭제·갱신에도 정확성 = 무결성 유지
-
SQL 명령어 분류
종류 풀네임 명령어 DML(조작어) Data Manipulation Language SELECT, INSERT, UPDATE, DELETE DDL(정의어) Data Definition Language CREATE, ALTER, DROP, RENAME, TRUNCATE DCL(제어어) Data Control Language GRANT, REVOKE TCL(트랜잭션 제어어) Transaction Control Language COMMIT, ROLLBACK, SAVEPOINT
1-3. 데이터베이스 활용 — 약어 정리 (풀네임 포함)
- OLTP (On-Line Transaction Processing, 온라인 거래 처리): 처리 결과를 바로 돌려보내는 형태
- OLAP (On-Line Analytical Processing, 온라인 분석 처리): 의사결정에 활용할 수 있는 정보를 얻을 수 있게 하는 기술
기업 내부 데이터베이스
| 약어 | 풀네임 | 의미 |
|---|---|---|
| ERP | Enterprise Resource Planning | 전사적 자원관리. 생산·재무·인사 등 기업 자원을 하나로 통합 관리 |
| BI | Business Intelligence | 기업 데이터를 분석해 경영 의사결정을 지원하는 도구 |
| RTE | Real Time Enterprise | 실시간 기업. 기업 내외 정보를 실시간 전달·처리하여 즉시 대응 |
| EAI | Enterprise Application Integration | 기업 내 여러 애플리케이션(시스템)을 통합·연계 |
| EDW | Enterprise Data Warehouse | 전사적 데이터 웨어하우스. 기존 DW(Data Warehouse)를 전사 차원으로 확장 |
| KMS | Knowledge Management System | 지식관리시스템. 조직 내 지식을 축적·공유 |
| CRM | Customer Relationship Management | 고객관계관리. 고객 데이터로 마케팅·관계 강화 |
| SCM | Supply Chain Management | 공급망관리. 제조 |
사회 기반구조 데이터베이스
| 약어 | 풀네임 | 의미 |
|---|---|---|
| EDI | Electronic Data Interchange | 전자문서교환. 기업 간 표준화된 전자문서 교환 |
| VAN | Value Added Network | 부가가치통신망. 통신망을 빌려 부가 서비스 제공 |
| CALS | Commerce At Light Speed | 광속상거래. 제품 전 과정 정보를 디지털화·공유하는 전자상거래 체계 |
| ITS | Intelligent Transport System | 지능형교통시스템 |
| GIS | Geographic Information System | 지리정보시스템 |
| RS | Remote Sensing | 원격탐사 (위성 등으로 지리 정보 수집) |
| NEIS | National Education Information System | 교육행정정보시스템 |
제2장 데이터의 가치와 미래
2-1. 빅데이터의 이해
- 3V = 양·다·속: 양(Volume), 다양성(Variety), 속도(Velocity)
- 여기에 가치(Value)를 추가하면 4V
- 출현 배경: 산업계 데이터 축적(양질전환), 학계 거대 데이터 활용, 기술 발전(저장비용 하락, 클라우드 컴퓨팅, 분산처리)
- 빅데이터의 역할 비유
- 원유: 가공을 통해 새로운 범주의 산업을 만들어냄 ★
- 산업혁명의 석탄·철: 사회 전반의 생산성 향상
- 렌즈: 현미경처럼 세상을 더 잘 관찰하게 함 (예: 구글 Ngram)
- 플랫폼: 공동 활용의 기반 (예: 페이스북)
2-2. 빅데이터의 가치와 영향
- 진화 방향 = 후·전·양·상 (빅데이터 시대의 패러다임 전환)
- 후: 사전처리 → 사후처리
- 전: 표본조사 → 전수조사
- 양: 질 → 양
- 상: 인과관계 → 상관관계
- 가치 산정이 어려운 이유 (3가지)
- 데이터 활용 방식의 변화: 재사용·재조합·다목적 개발이 일반화되어 누가 언제부터 활용했는지 알 수 없음
- 새로운 가치 창출: 기존에 없던 가치를 만들어냄
- 분석 기술의 발전: 지금은 무가치한 데이터도 미래엔 큰 가치를 가질 수 있음
2-3. 비즈니스 모델 — 빅데이터 활용 기본 테크닉 (무엇인지 + 어떻게 활용되는지)
| 기법 | 무엇인지 | 어떻게 활용되는지 |
|---|---|---|
| 연관규칙학습 | 변수 간 동시 발생(연관) 패턴을 찾는 기법 | 장바구니 분석 (예: 맥주 구매자가 기저귀도 구매) |
| 유형분석(분류) | 새로운 데이터를 기존 범주(유형)에 배정 | 문서 분류, “이 사용자는 어떤 유형인가?” |
| 유전자 알고리즘 | 진화·자연선택 과정을 모방한 최적화 기법 | 응급실 의사 배치 최적화, 연료 효율적 배합 |
| 기계학습 | 훈련 데이터로부터 학습하여 예측하는 기법 | 넷플릭스 영화 추천 시스템 |
| 회귀분석 | 독립변수가 종속변수에 미치는 영향(인과관계) 규명 | ”구매자 연령이 구매 차량 유형에 어떤 영향을 미치는가?” |
| 감정분석 | 텍스트에서 긍정/부정 등 감정·의견 추출 | 고객 리뷰·SNS 여론 분석 |
| 소셜네트워크분석(SNA) | 사람 간 관계·영향력 구조 파악 | 오피니언 리더(영향력자) 찾기 |
2-4. 위기 요인과 통제 방안
| 위기 요인 | 예시 | 통제 방안 |
|---|---|---|
| 사생활 침해 | 익명 데이터도 결합하면 개인 재식별 가능 | 동의에서 책임으로 (활용 주체가 책임) |
| 책임 원칙 훼손 | 범죄 예측 알고리즘으로 실제 행동 전에 불이익 | 결과 기반 책임 원칙 적용 |
| 데이터 오용 | 상관관계를 인과관계로 오인한 잘못된 의사결정 | 알고리즘 접근 허용 (+알고리즈미스트) |
-
개인정보 비식별 기술 (사생활 침해 방지 수단)
기술 내용 예시 데이터 마스킹 속성 유지한 채 식별값 가림 홍길동 → 홍OO 가명처리 다른 이름으로 대체 (규칙 노출 주의) 홍길동 → 임꺽정 총계처리 총합·평균만 공개 평균키 165cm 데이터값 삭제 개인 식별에 중요한 값 삭제 주민번호 → 90년대생 남자 데이터 범주화 값을 범주로 변환 35세 → 30~40세
2-5. 미래의 빅데이터 — 3요소 인·자·기
빅데이터에는 인력·자원·기술이 있어야 함
- 인력: 특히 데이터 사이언티스트와 알고리즈미스트(알고리즘에 의해 피해 본 사람을 구제하는 전문가)
- 자원: 데이터 (모든 것의 데이터화)
- 기술: 진화하는 알고리즘, 인공지능
제3장 데이터 사이언스와 전략 인사이트
3-1. 빅데이터 분석과 전략 인사이트
- 핵심: 데이터의 크기(양)보다 유형의 다양성과 분석의 초점이 중요
- 일차원적 분석의 함정: 부서·업계 내부 문제에 국한 → 사소한 최적화에 그침
- 전략적 통찰(인사이트) 기반 분석 필요: 핵심 비즈니스 이슈에 집중, 가치 창출·성과에 연결
3-2. 전략 인사이트 도출을 위한 필요 역량
-
데이터 사이언스의 영역 3요소: IT(기술) + 분석(수학·통계) + 비즈니스(컨설팅)
-
데이터 사이언티스트
- 기본 자질: 강력한 호기심
- 하드 스킬과 소프트 스킬을 모두 갖춰야 함 | 구분 | 내용 | |---|---| | 하드 스킬 | 빅데이터와 분석 기술에 대한 숙련 (이론적 지식 포함, 주로 이과적 스킬) | | 소프트 스킬 | 통찰력 있는 분석, 설득력 있는 전달(스토리텔링·시각화), 협력 능력(커뮤니케이션) |
-
인문학 열풍의 외부 요인
변화 내용 컨버전스 → 디버전스 단순 세계화에서 복잡한 세계화로 생산 → 서비스 제품 생산에서 서비스 중심으로 생산 → 시장창조 기술 경쟁에서 무형자산 경쟁으로
3-3. 빅데이터와 데이터 사이언스의 미래 — 가치 패러다임의 변화
Digitalization → Connection → Agency 순서 ★
| 시기 | 패러다임 | 내용 |
|---|---|---|
| 과거 | Digitalization(디지털화) | 아날로그 세상을 효과적으로 디지털화하는 것이 가치의 원천 |
| 현재 | Connection(연결) | 디지털화된 정보·대상이 서로 연결. 연결을 효율적으로 제공하는 것이 성공 요인 |
| 미래 | Agency(에이전시) | 복잡한 연결을 효과적·신뢰성 있게 관리(대리·중개)하는 것이 이슈 |
⚡ 시험 직전 두문자 총정리
- 데이터 특성: 존재(객관적 사실) / 당위(추론·예측·전망·추정의 근거)
- 데이터 유형: 정성(주관·분석 어려움·저장비용↑) / 정량(수치·객관·분석 용이)
- SECI: 공표연내 (공유 암→암 / 암→형 / 형→형 / 형→암)
- DIKW: 객관적 사실 → 의미 도출 → 경험 결합 → 창의적 의사결정
- DB 요건: 공통저변 (공용·통합(중복X)·저장·변화(무결성))
- OLTP=즉시처리 / OLAP=의사결정 분석
- 빅데이터: 양다속(3V) + Value = 4V, 비유는 원유(새 산업 창출)
- 진화: 후전양상 (사후처리·전수조사·양·상관관계)
- 가치산정 어려움: 활용방식 변화·새 가치 창출·분석기술 발전
- 위기→통제: 사생활침해→동의에서 책임 / 책임원칙훼손→결과기반 책임 / 데이터오용→알고리즘 접근 허용
- 3요소: 인자기 (인력—데이터사이언티스트·알고리즈미스트 / 자원 / 기술)
- 데이터 사이언스 영역: IT·분석·비즈니스
- 사이언티스트: 강력한 호기심 + 하드스킬(분석기술 숙련) + 소프트스킬(통찰·전달·협력)
- 가치 패러다임: Digitalization → Connection → Agency