[ML/DL] 앙상블 학습 (Ensemble Learning): 3.Boosting(부스팅)이란?

Boosting(부스팅)이란?

 

여러 개의 분류기가 순차적으로 학습을 수행한다. 이때 이전 분류기가 예측이 틀린 데이터에 대해 올바르게 예측할 수 있도록 가중치를 부여하면서 학습과 예측을 진행한다.

이런 방식으로 앞 훈련에서 틀렸던 부분을 가중치를 주면서 모델 자체를 발전해나간다.

이러한 부스팅은 약검출기들을 여러 개 모아 강 검출기를 생성하는 방법이다.

이러한 방법으로 strong classifier를 생성하게 된다. 

 

지금 캐글에서 가장 많이 인기있는 앙상블 모델 중 하나이다.

 

 

Boosting의 종류

XG boosting - 경사 하강법을 통한 부스팅 방식

Gradient Boosting - leaf 를 통한 부스팅 방식

AdaBoost - stump를 통한 부스팅 방식

lightGBM - Gradient Boosting 기반의 더 빠른 부스팅 모델

histgradientboosting - 히스토 그램 기반 부스팅

 

 

부스팅 구현(AdaBoostClassifier)

여기서는 간단한 Adaboosclassifier를 구현하겠다.

 

from sklearn.ensemble import AdaBoostClassifier

 

ada_model = AdaBoostClassifier()

ada_model.fit(X_train, y_train)
y_pred = ada_model.predict(X_test)

 

print('예측 정확도 : ' , accuracy_score(y_test , y_pred))