학습 목표
- 사이킷런으로 그라디언트 부스팅 알고리즘을 사용할 수 있다.
핵심 키워드
- Gradient Boosting
학습하기
4.2.2 그라디언트 부스팅 알고리즘 사용하기
학습내용
single 은 하나의 트리를 사용하고, bagging 은 트리를 여러 개 사용합니다. boosting은 트리에 가중치를 부여합니다.
from sklearn.ensemble import GradientBoostingClassifier
model = GradientBoostingClassifier(random_state=42)
model앙상블에 있는 그라디언트부스팅을 사용합니다.
처음에는 max depth=10으로 지정했지만 오히려 성능이 더 안 좋아지는 경우가 발생했습니다.
그러므로 max_depth를 제거하고 모델을 학습시킵니다.
결과 :
model.fit(X_train, y_train) 모델을 학습시킵니다.
결과 :
model.feature_importances_feature 간의 중요도를 확인합니다.
결과 :
feature_names = X_train.columns.tolist()
sns.barplot(x=model.feature_importances_, y=feature_names)Insulin이 영향을 많이 미친 것으로 나타났습니다.
결과 :
y_predict = model.predict(X_test)
y_predict[:5]예측을 하고 결과를 y_predict에 넣습니다.
결과 :
(y_predict != y_test).sum()랜덤 포레스트에서는 20개였는데 그라디언트 부스팅에서는 24개입니다.
랜덤 포레스트의 성능이 더욱 좋은 것을 확인할 수 있습니다.
결과 :
24
from sklearn.metrics import accuracy_score
accuracy_score(y_test, y_predict)랜덤 포레스트가 87%로 더 높은 성능을 기록합니다.
결과 :
0.8441558441558441
- Google Colaboratory
https://colab.research.google.com
- pima-classification-baseline-04.ipynb