[ML/DL] DecisionTree 구현 및 hyper parameter 설정

의사결정 트리(DecisionTree) 규칙을 학습을 통해 분류 규칙을 만드는 알고리즘 / 데이터의 어떤 기준을 바탕으로 규칙을 만드느냐가 성능을 결정하는 중요한 요소이다. hyper parameter란? 기계 학습에서 하이퍼 파라미터는 학습 프로세스를 제어하는 ​​데 사용되는 값을 갖는 매개 변수로서 가장 좋은 변수를 뜻한다. 여기서의 가장 좋은 변수는 사용자가 원하는 score 값이 높게 만드는 parameter를 뜻한다. 파라미터에 대한 설명 rootnode- 시작점 leaflood - 더 이상의 규칙을 정할 수 없는 것(결정된 클래스 값) 정보 균일도 측정 방법 정보 이득 방식 - 엔트로피는 데이터의 혼잡도를 의미한다. 엔트로피가 높다는 것은 혼잡도가 높다는 것이다. 지니계수 - 불평등지수 / 이..