학습 목표
- 파이썬의 추상화된 탐색적 데이터 분석 도구인 pandas-profiling과 sweetviz를 통해 직접 EDA를 실습합니다.
핵심 키워드
- 기술통계
- colab에 특정 버전의 도구를 설치해서 불러오기 위해서는 런타임 재시작이 필요
- pandas-profiling
- sweetviz
학습하기
탐색적 데이터 분석 도구 사용하기
학습 내용
파이썬의 추상화된 탐색적 데이터 분석 도구인 pandas-profiling과 sweetviz를 통해 직접 EDA를 실습합니다.
기술통계를 직접 구할 수도 있지만 추상화된 도구를 통해 코드 한 두줄로 불러와서 사용할 수도 있습니다.
pandas-profiling과 sweetviz와 같은 도구를 사용하기 위해서는 별도의 설치가 필요합니다.
또, google colaboratory 의 런타임을 재시작 해야지만 원하는 도구가 제대로 설치됩니다.
실습에서는 pandas-profiling 과 sweetviz 를 사용해서 시각화를 합니다.
- (중요) 런타임 다시 시작 필수!
- pandas-profiling 과 sweetviz 설치 시에 런타임을 재시작 해야지 오류나 경고 없이 설치 됩니다.
- [실습] Google Colaboratory - 5.2 파이썬 EDA-기술통계-input.ipynb
https://colab.research.google.com
- pandas-profiling/pandas-profiling
https://github.com
- Create HTML profiling reports from pandas DataFrame objects - pandas-profiling/pandas-profiling
import numpy as np
import pandas as pd
from pandas_profiling import ProfileReport
df = pd.DataFrame(np.random.rand(100, 5), columns=["a", "b", "c", "d", "e"])
profile = ProfileReport(df, title="Pandas Profiling Report")
- sweetviz
https://pypi.org
- A pandas-based library to visualize and compare datasets.
- 기술통계학
https://ko.wikipedia.org
- 기술 통계학(記述 統計學, descriptive statistics) 또는 기술통계는 측정이나 실험에서 수집한 자료(data)의 정리, 요약, 해석 ,표현등을 통해 자료의 특성을 규명하는 통계적 방법이다.
기초적인 기술통계분석으로는 평균,표준편차등과 같은 수치나 산점도,막대그래프 같은 그래픽적 표현이 있다. 그러나 이러한 기초적인 기술통계분석은 추론통계(inference statistics)같은 복잡한 통계 분석에서뿐만아니라 빈도분석(frequency analysis),기술분석(descriptive analysis),상관분석(reliability analysis)등에서 기본이 된다.
