Data scientist/Machine Learning

[ML/DL] 앙상블 학습 (Ensemble Learning): 1. bagging(배깅)이란?

배깅이란? 동일한 알고리즘으로 여러 분류기로 만들어 보팅으로 최종 결정하는 알고리즘을 뜻한다. 배깅의 진행방식 1. 동일한 알고리즘을 사용하는 일정 수 의 분류기 생성 2. 각각의 분류기는 부트 스트래핑 방식으로 생성된 샘플데이터를 학습 3. 최종적으로 모든 분류기가 보팅을 통해 예측 결정한다. ※부트 스트래핑 샘플링은 전체 데이터에서 일부 데이터의 중첩을 허용하는 방식 vagging 구현 best_estimator 은 평가할 model을 뜻한다. 1. Baggingclassifier를 통한 배깅 2.RandomFrorest(대표적인 bagging 방식의 모델이다) from sklearn.ensemble import RandomForestClassifier # 랜덤포레스트 알고리즘을 이용한 학습/예측/평..

Data scientist/Machine Learning

[ML/DL] 앙상블 학습 (Ensemble Learning): bagging,voting,boosting

앙상블이란? 앙상블 학습법은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법이다. 앙상블의 유형 voting - 동일한 알고리즘으로 여러 분류기로 만들어 보팅으로 최종 결정하는 알고리즘 ex) soft, hard Bagging - 다른 알고리즘이 낸 결과물에 대하여 투표를 통해 결정하는 방식 ex)랜덤포레스트, Bagging classifier boosting - 약한 학습기를 순차적으로 학습시켜, 개별 학습기에 가중치를 부여하여 높은 정확도의 예측 결과를 만든다, ex) ada boosting gradient boosting, xgboosting.. 앙상블의 특징 단일모델의 약점을 다수의 모델들을 결합하여 보완한다. 모델을 구성할 때 뛰어난..