Part 1.ch 02. 데이터 분석과정과 탐색적 데이터 분석(EDA)

● 데이터분석 단계

1. 분석 기획

2. 수집 및 정제

3. 모델링

4. 평가 및 결론 도출

5. 분석결과의 활용

 

● 데이터 분석 기획

-비즈니스 이해 및 목표설정: 비즈니스적으로 어떤것을 이루고자 하는지

-프로젝트 정의: 어떤데이터를 바탕으로 어떤것을 예측,측정할 것인지

 

●데이터 수집 및 정제

-분석에 필요한 데이터를 어떻게 수집할 것인지

-데이터 전처리,검증:수집된 데이터의 정합성,무결성 등을 검증

 

● 데이터 분석 모델링

-탐색적 데이터 분석 (EDA): 통계량 확인 및 시각화를 통한 데이터의 특성을 파악

-모델링: 예측을 위한 수학적, 통계적 모델링

 

● 평가 및 결론도출

-모델링을 통해 생성된 결과를 활용해 결론 도출

-성능에 대한 평가: 도메인에 따라 비즈니스적 요구에 따라 성능의 기준은 달라짐, 상황에 따라 의의 과정을 수정해가며 성능을 개선

 

● 분석결과의 활용

-시스템 구현: 주기적으로 업데이트

-비즈니스 인사이트: 의사결정에 도움, 시각화(대시보드)

-서비스에 활용: 모델을 활용하여 서비스에 적용

 

---

● EDA

-기초적인 통계개념으로 데이터 전체를 파악

-데이터의 형질에 대한 도메인 개념 축적

-전처리의 방향성 제시

(분포탐색,주형변수 비교분석,경측치 탐색 등)

 

● 데이터 전처리

-데이터 분석에 앞서 전처리 과정을 통한 데이터 가공 빛 변환