[ML/DL] 앙상블 학습 (Ensemble Learning): bagging,voting,boosting

앙상블이란?

 

앙상블 학습법은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법이다. 

 

 

앙상블의 유형

 

voting - 동일한 알고리즘으로 여러 분류기로 만들어 보팅으로 최종 결정하는 알고리즘

ex) soft, hard

 

 

Bagging - 다른 알고리즘이 낸 결과물에 대하여 투표를 통해 결정하는 방식

 

 

ex)랜덤포레스트, Bagging classifier

 

boosting - 약한 학습기를 순차적으로 학습시켜, 개별 학습기에 가중치를 부여하여 높은 정확도의 예측 결과를 만든다,

ex) ada boosting gradient boosting, xgboosting..

 

 

앙상블의 특징

 

단일모델의 약점을 다수의 모델들을 결합하여 보완한다.

모델을 구성할 때 뛰어난 성능을 가진 모델들로만 구성하는 것보다 떨어지는 것도 넣는 게 오를 때도 있다.

앙상블을 한다고 무조건적으로 오르진 않고 오를수도 있고 낮아질 수도 있다.