Part 2.ch 02. 데이터 탐색과 통계 필요성

● 기술통계

-요약된 정보를 담고 있는 통계량과 시각화를 바탕으로 데이터를 탐색

-관측된 데이터의 특성을 파악하는 좋은 수단

 

● 추론통계

-추출한 표본의 통계량 관찰 및 분석 기법을 활용하여 모집단을 추론

-P-VALUE등을 활용하여 추론의 신뢰도 확보

 

● 적절한 통계기법 활용하기

● 데이터로부터 올바른 정보를 얻기

● 즉 통계공부란 수치로부터 정보를 추출하기 위한 수단

 

● 기술통계법: 평균, 분산,표준편차, 왜도,첨도 등 통계량 확인

● 데이터 시각화: 차트를 통한 분포 확인

● 상관 관계 분석: 각 변수 간의 비례관계

● 결측치, 이상치 탐지: 관측되지 않거나 추세에서 벗어난 데이터 확인

 

●데이터 탐색 과정의 목적:

* 어떤 변수가 결론에 많은 영향을 미치는지 확인

1. 유의미한 변수 탐색

2. 변수 간의 독립성 확보

3.의미 없는 데이터 제거(효율성, 차원 축소)

* 변수의 분포에 따라 사용 할 수 있는 통걔적 방법론이 다름

1. 예) 정규성 검정을 통해 정규 분포를 따르는지 아닌지를 판단

- T검정을 통해서 결론 도출

 

● 피벗테이블을 활용한 기술 통계량 확인

●차트를 통한 데이터 시각화

1. 히스토그램: 수치형 변수의 분포파악

2. 산점도: 두 변수간의 상관관계 파악

3. 박스플랏: 분위수 시각화 및 이상치 탐지