Data scientist/Machine Learning

[ML/DL] 앙상블 학습 (Ensemble Learning): 3.Boosting(부스팅)이란?

Boosting(부스팅)이란? 여러 개의 분류기가 순차적으로 학습을 수행한다. 이때 이전 분류기가 예측이 틀린 데이터에 대해 올바르게 예측할 수 있도록 가중치를 부여하면서 학습과 예측을 진행한다. 이런 방식으로 앞 훈련에서 틀렸던 부분을 가중치를 주면서 모델 자체를 발전해나간다. 이러한 부스팅은 약검출기들을 여러 개 모아 강 검출기를 생성하는 방법이다. 이러한 방법으로 strong classifier를 생성하게 된다. 지금 캐글에서 가장 많이 인기있는 앙상블 모델 중 하나이다. Boosting의 종류 XG boosting - 경사 하강법을 통한 부스팅 방식 Gradient Boosting - leaf 를 통한 부스팅 방식 AdaBoost - stump를 통한 부스팅 방식 lightGBM - Gradien..

Data scientist/Machine Learning

[ML/DL] 앙상블 학습 (Ensemble Learning): bagging,voting,boosting

앙상블이란? 앙상블 학습법은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법이다. 앙상블의 유형 voting - 동일한 알고리즘으로 여러 분류기로 만들어 보팅으로 최종 결정하는 알고리즘 ex) soft, hard Bagging - 다른 알고리즘이 낸 결과물에 대하여 투표를 통해 결정하는 방식 ex)랜덤포레스트, Bagging classifier boosting - 약한 학습기를 순차적으로 학습시켜, 개별 학습기에 가중치를 부여하여 높은 정확도의 예측 결과를 만든다, ex) ada boosting gradient boosting, xgboosting.. 앙상블의 특징 단일모델의 약점을 다수의 모델들을 결합하여 보완한다. 모델을 구성할 때 뛰어난..