학습 목표
- RamdomSearchCV로 하이퍼파라메터 찾는 방법을 이해할 수 있다.
핵심 키워드
- RandomizedSearchCV
학습하기
4.2.3 RamdomSearchCV 로 여러 알고리즘의 최적의 하이퍼 파라미터를 찾기(1)
학습내용
from sklearn.model_selection import RandomizedSearchCV
max_depth = np.random.randint(2, 20, 10)
max_features = np.random.uniform(0.3, 1.0, 10)
param_distributions = {"max_depth": max_depth,
"max_features": max_features}
clf = RandomizedSearchCV(estimator,
param_distributions,
n_iter=100,
scoring="accuracy",
n_jobs=-1,
cv=5,
verbose=2
)
clf.fit(X_train, y_train)param_distributions에 랜덤 서치를 위한 변수들을 딕셔너리 형태로 넣습니다.
n_iter으로 기본 10번을 반복 학습합니다.
n_jobs를 -1으로 지정하여 사용할 수 있는 자원을 모두 활용합니다.
cv를 5로 하여 조각을 5개로 나눕니다.
verbose를 2로 지정하여 로그를 찍습니다.
결과 :
clf.best_params
결과 :
clf.best_score_
결과 :
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier
estimators = [DecisionTreeClassifier(random_state=42),
RandomForestClassifier(random_state=42),
GradientBoostingClassifier(random_state=42)
]
estimators3개의 알고리즘을 모두 선언하여 사용해보고자 합니다.
결과 :
