학습 목표

- GridSearchCV로 하이퍼 파라미터 값을 튜닝할 수 있습니다.

핵심 키워드

- GridSearchCV

학습하기

학습내용

Grid Search

cross validation은 train 데이터셋을 여러 fold로 나눠서 평균을 내는 방법입니다.

from sklearn.model_selection import GridSearchCV

model = DecisionTreeClassifier(random_state=42)
param_grid = {"max_depth": range(3, 12),
"max_features": [0.3, 0.5, 0.7, 0.9, 1]}
clf = GridSearchCV(model, param_grid=param_grid, n_jobs=-1, cv=5, verbose=2)
clf.fit(X_train, y_train)

param_grid에는 튜닝하고 싶은 파라미터 정보를 넣습니다.

max_features는 일부 feature만 사용하고 싶을 때 사용합니다. 1은 전체라는 뜻입니다.

n_jobs는 -1로 설정하여 사용 가능한 모든 장비를 학습에 이용합니다.

cv는 cross validation을 5개로 나눕니다.

verbose를 1로 하여 로그를 찍으면서 학습을 합니다. 0이면 로그를 출력하지 않습니다.

 

 

결과 : 

 

 

 

 

clf.best_params_

  

가장 성능이 좋은 파라미터를 찾아줍니다.

 

 

결과 : 

 

 

 

clf.best_estimator_

 

가장 좋은 성능을 내는 파라미터 조합 전체를 알려줍니다.

 

결과 : 

 

 

clf.best_score_

 

가장 좋은 점수를 알려줍니다.

 

결과 : 

 

  

pd.DataFrame(clf.cv_results_).sort_values(by="rank_test_score").head()

 cv_results_는 cross validation 결과를 데이터프레임으로 반환합니다. score을 내림차순으로 확인할 수 있습니다.

 

결과 : 

 

 

clf.predict(X_test)

 

예측을 진행하여 답안지를 만듭니다.

 

결과 : 

 

 

 

clf.score(X_test, y_test)

 

test셋에서 더 좋은 스코어가 나왔습니다.

 

결과 :