Data scientist/Machine Learning

[ML/DL] 앙상블 학습 (Ensemble Learning): 2. Voting(보팅)이란?

voting 이란? 다른 알고리즘이 낸 결과물에 대하여 투표를 통해 결정하는 방식이다. voting과 Bagging은 투표방식이라는 공통점을 가지지만 차이점이 있다. - voting은 다른 알고리즘 model을 조합해서 사용한다. - bagging은 동일 알고리즘을 다른 sample 조합을 사용한다. 보팅의 유형 Hard voting - 각자의 분류를 했을 때 가장 투표를 많이 받은걸 선택한다. Soft voting - 분류에 따라서 1,2가 있었을때 각각의 확률을 구하고 이것을 더해서 평균을 낸다. 그때 가장 높았던 것을 사용한다. 성능 측면에서는 소프트 보팅이 상대적으로 우수하다. Voting 구현 from sklearn.tree import DecisionTreeClassifier from skle..

Data scientist/Machine Learning

[ML/DL] 앙상블 학습 (Ensemble Learning): bagging,voting,boosting

앙상블이란? 앙상블 학습법은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법이다. 앙상블의 유형 voting - 동일한 알고리즘으로 여러 분류기로 만들어 보팅으로 최종 결정하는 알고리즘 ex) soft, hard Bagging - 다른 알고리즘이 낸 결과물에 대하여 투표를 통해 결정하는 방식 ex)랜덤포레스트, Bagging classifier boosting - 약한 학습기를 순차적으로 학습시켜, 개별 학습기에 가중치를 부여하여 높은 정확도의 예측 결과를 만든다, ex) ada boosting gradient boosting, xgboosting.. 앙상블의 특징 단일모델의 약점을 다수의 모델들을 결합하여 보완한다. 모델을 구성할 때 뛰어난..