티스토리

나무늘보의 블로그
검색하기

블로그 홈

나무늘보의 블로그

continuous-development.tistory.com/m

혼자 끄적끄적하는 블로그 입니다.

구독자
8
방명록 방문하기
공지 글 보실 때 주의사항 모두보기

주요 글 목록

  • [Dacon] 행동 데이터 분석 인공지능 AI 경진대회 2등 코드 분석 행동 데이터 분석 인공지능 AI 경진대회 주제 대회는 Blizzard 스타크래프트2 경기의 행동 데이터로 승패를 예측 배경 게임을 잘하는 나라’, ‘E-sports의 성지’라는 호칭을 얻게 된 요인에 게이머들의 탁월한 전략이 함께 합니다. 그리고 여러분은 데이터를 분석하여 전략을 발전시킬 수 있는 능력을 갖추고 있습니다. E-Sports 속 한국이란 나라의 위용에 걸맞은 알고리즘을 만들어주세요! 여러분이 만든 알고리즘이 우리의 게임 실력을 한층 더 발전시킬 수 있습니다. 평가 - AUC 소스 [2등][도발하려던건 아니었습니다만]Ensembled CatBoost Model 1.Library & Data # 라이브러리 설치 import os # 디렉토리 설정 os.chdir("/data") import wa.. 공감수 0 댓글수 0 2021. 7. 4.
  • [Data Science] 데이터 사이언스 개념 - 10.딥러닝 딥러닝 1.딥러닝이란? 딥러닝 - 심층 신경망이란 3층이상의 깊은 계층을 가진 신경망의 총칭 딥러닝의 등장배경 네트워크의 심층화와 대규모화로 더 높은 일반화 성능을 실험적으로 달성 할 수 있게 되었다. 가설(어떤 원리가 작용하는지) 1.소수의 파라미터 수로 복잡한 함수를 표현할 수 있다. 2.대규모화 되면서 국부 최적해가 비슷한 비용을 갖기 쉬워졌고 비교적 간단하게 좋은 국부 최적해를 발견할 수 있게 되었다 2.딥러닝이 등장하기까지의 기술적 배경 심층 신경망과 그렇지 않은 신경망을 나누는 것은 네트워크의 구조다. 초기 딥러닝은 1990년대에 이미 제안되어 있었다. 이때는 기술적 한계로 인한 것이였다. 문제를 보완할 정도의 빅데이터가 없는한, 높은 일반화 성능을 실현하기는 어려웠다. 빅데이터를 비교적 쉽게.. 공감수 0 댓글수 0 2021. 1. 18.
  • [Data Science] 데이터 사이언스 개념 - 9.신경망이 기초 신경망의 기초 1.신경망이란? 신경망 - 동물의 신경 시스템을 모방한 학습 모델의 총칭 시냅스를 매개로 다른 세포로부터 작극을 받아 들인 신경 세포는 자극이 어느 일정 수위를 넘으면 흥분 상태가 되고, 그 세포가 시냅스 결합을 가진 다른 신경 세포에 자극을 전달한다. 신경망은 이 신경 세포의 동작을 단순화해서 모방한 뉴런이라는 계산소자를 다수 결합해서 구성한 학습 모델이다. 가장 일반적인 것은 1940년대에 제안된 맥컬록-피츠 뉴런이다. 이 뉴런은 임계값을 넘었을 때 흥분 상태를 나타내는 1을 출력하고, 그 이외에는 0 을 출력하는 함수다. 컴퓨터의 연산회로가 다수의 논리 회로를 조합해 다양한 연산을 할 수 있는 것 처럼 단순한 계산 소자인 뉴런을 복잡하게 구성함으로써 다양한 계산이 가능해진다. 2.단순.. 공감수 0 댓글수 0 2021. 1. 15.
  • [Data Science] 데이터 사이언스 개념 - 8.토픽 모델 / 네트워크 분석 토픽모델 토픽 모델(Topic model)이란 문서 집합의 추상적인 "주제"를 발견하기 위한 통계적 모델 중 하나로, 텍스트 본문의 숨겨진 의미구조를 발견하기 위해 사용되는 텍스트 마이닝 기법 1.백오즈워즈와 음수 미포함 행렬 분해 백오브워즈 - 각 문서에서 단어의 출현 빈도를 행렬형식으로 정리한 것 대량의 문서중에 어떤 화제의 문장이 있는지 요약 정보를 얻고 싶을 때 사용한다. 희소행렬 - 값이 거의 0 인 행렬 문서 군의 요약을 구할 때는 이 희소행렬을 분해하는 방법을 사용하는 경우도 있다. 이것을 잠재의미 분석(Latent Semantic Analysis, LSA) 라고 부른다. 행렬의 각 요소가 양수인 성질에 주목하면 음수 미포함 행렬 분해라는 방법도 적용할 수 있다. 음수 미포함 행렬 분해 - .. 공감수 0 댓글수 0 2021. 1. 14.
  • [Data Science] 데이터 사이언스 개념 - 7.비지도 학습 비지도 학습 1.K-평균법 k평균법 - 같은 클러스터 내의 데이터 점끼리 거리가 짧아지도록 데이터를 주어진 수의 클러스터로 분류하는 것 비지도 학습의 일종으로 클러스터링이다. 위와 같이 데이터가 어느 그룹에 속할지 결정하는 것이 목표이다. k 평균법 구현하는 방법 데이터를 몇 개의 클러스터로 나눌지 결정한다. 라벨을 랜덤으로 붙인다. 다음으로 각 라벨의 점의 중심을 계산해준다. 큰 라벨처럼 중심점이 정해진다. 다음으로 각 점에 가장 가까운 중심점과 같은 라벨을 다시 칠해준다. 이것을 반복하고 각 라벨의 갱신을 반복해간다. 2.계층적 클러스터링 계층적 클러스터링 - 하나하나의 데이터를 근접한 데이터와 결합함으로써 바텀업 방식으로 클러스터링하는 방법 계층적 클러스터링을 구현 하는 방법 클러스터수를 데이터 수.. 공감수 0 댓글수 0 2021. 1. 14.
  • [Data Science] 데이터 사이언스 개념 - 6.분류문제 분류문제 1.로지스틱 회귀 로지스틱 회귀 - 회귀를 사용하여 데이터가 어떤 범주에 속할 확률을 0에서 1 사이의 값으로 예측하고 그 확률에 따라 가능성이 더 높은 범주에 속하는 것으로 분류해주는 지도 학습 알고리즘 출력 변수가 두가지인 데이터를 자연스럽게 모델링하고자, 0과 1이 나타나는 확률값이 출력되도록 선형회귀 모델을 확장한 것 값이 0~1사이로 들어온다. 추정은 제곱오차를 최소화하지 않고, 우도를 최대화해서 구한다. 2.선형 서포트 벡터 머신 선을 그은다음에 위면 빨간색 아닐경우 파란색 이런식으로 분류하는게 선형 서포트 벡터 머신의 요점이다. 이 선을 긋는 함수를 최대 마진 초평면이라고 한다. 이 선을 긋는걸로 분리가 잘안될떄는 슬랙변수라는 것을 정의함으로써 추정한다. 분리 초평면을 정의할 때 사.. 공감수 0 댓글수 0 2021. 1. 14.
  • [Data Science] 데이터 사이언스 개념 - 5.앙상블 학습 앙상블 학습 1.앙상블 학습이란 앙상블 학습 - 성능이 나오지 않는 모델을 잘 조합함으로써 강력한 성능을 끌어내는 기법 앙상블 학습을 할 때 약한 학습기로서 자주 선택되는 것이 트리라고 불리는 기법이다. 트리는 회귀 문제를 대상으로 할 경우 회귀 트리라고 부르고, 두 값을 다룰 경우는 결정트리라고 부른다. 트리의 경우 과적합하는 경향이 있는데 앙상블을 통해 정밀도를 높일 수 있다. 2.회귀 트리 회귀 트리 - 특징량을 이용해 데이터를 몇개의 그룹으로 나누고 그룹의 편균 값을 예측값으로 하는 방법 회귀트리는 해석성이 높아 선형회귀로는 파악할 수 없는 관계를 추출 할 수도 있다. 회귀트르니는 과적합 되기 쉬우므로 교차검증법 등으로 트리를 가지치기하는 방법을 사용한다. 3.부트스트랩과 배깅 부트스트랩 - 가설.. 공감수 0 댓글수 0 2021. 1. 14.
  • [Data Science] 데이터 사이언스 개념 - 4.회귀 모델 회귀 문제 1.일차분석과 시각화 일차 분석 -데이터의 기초통계량을 파악하고 기본적은 그래프로 그려 데이터의 개요를 이해하는 것을 일차분석이라고 한다. 데이터를 처음 받으면 확인해야 할 것 결손값 특잇값의 유무 변수 종류 스케일 파악 특징량이 많은 데이터의 경우 pandas의 describe 함수를 이용하여 평균, 표준, 편차, 최솟값, 25,50,74 분위수점등의 기본적인 통계량을 확인한다. 또한, 데이터 내의 수치변수를 히스토그램과 산포도를 통해 확인한다. 2.선형 회귀 선형회귀 -목표 변수와 특징량을 선형함수로 연결한 것 여기서 y는 목표변수, B는 계수, X1는 각 특징량을 나타낸다. 여기서는 미국 주택가격 데이터로 주택가격을 예측하는 선형회귀 분석을 한다. 여기서는 각각의 변수에 대해 주택가격이 .. 공감수 0 댓글수 0 2021. 1. 11.
  • [Data Science] 데이터 사이언스 개념 - 3.과적합과 모델 선택 3.과적합과 모델 선택 1.기댓값과 분산 기댓값 - 확률변수가 취하는 값을 확률로 가증치를 둔 평균값 확률변수의 기댓값은 다음처럼 정의 된다. 분산- 확률 변수가 취하는 값이 어느정도 퍼져 있는지 나타낸 것 평균이나 분산은 주사위의 예처럼 이산변수(서로 분리된 정해진 단위의 값만 갖는 변수)가 아니라, 연속변수로도 정의할수 있다. 2.배리언스(variance) = 분산 분산 - 흩어진 정도를 평가하기 위해 학습 데이터간의 분산을 계산 한 것 3.편향-분산 분해 어떤 평가점 X0에 대해 시험데이터 상의 기대 평균제곱오차는 반드시 다음 3가지로 분해 할 수있다. 편향의 제곱 배리언스 오차항의 분산 여기서는 1과 2가 바꼈다. 이것을 편향 - 분산(바이어스-배리언스)분해라고 부른다. 1항은 실제함수와 추정에 .. 공감수 0 댓글수 0 2021. 1. 9.
  • [Data Science] 데이터 사이언스 개념 - 2.머신러닝의 기본 2.머신러닝의 기본 1.머신러닝이란 컴퓨터 과학에서 컴퓨터를 적극적으로 이용한 통계학을 의미 머신러닝에서는 문제 설정을 학습 시나리오라고 부른다 학습 시나리오에는 크게 지도학습과 비지도 학습이 있다. 지도학습 - 입력 데이터와 출력 데이터가 세트로 되어 있는 데이터를 다루는것 ex)주택 가격을 특징량을 이용해 휘귀모델로 예측하는 문제, 회귀, 분류, 랭킹 비지도 학습 - 입력 데이터만 주어진 상황 ex) 클러스터링, 차원삭감, 행렬보완, 다양체학습 준지도 학습 - 양쪽 측면을 포함, 일부 데이터에는 출력 데이터가 있지만 나머지는 출력 데이터가 없는 상황 ex) sns 등에서 수집된 우호 관계 네트워크와 일부 성별이 판명된 데이터 세트가 있는 경우 2.지도 학습 기본적인 회귀 문제에서 살펴보면 주택가격을 .. 공감수 0 댓글수 0 2021. 1. 8.
  • [Data Science] 데이터 사이언스 개념 - 1.데이터 과학이란? 01.데이터 과학이란? 데이터 과학자 - 컴퓨팅 기술을 활용해 데이터 수집 및 처리, 통계학이나 머신러닝으로 분석, 의사결정과 상품 개발까지 이어지는 일련의 흐름으 효과적으로 처리하는 기능을 가진 사람 업무 계열 - 비즈니스를 중시 IT 계열 - 구현을 중시 데이터 과학 통계학 , 머신러닝 컴퓨터 과학 응용력 02.빅데이터란? 빅데이터란 최근 얻을 수 있게 된 데이터의 총칭으로서 크게 4가지 측면에서 기존 데이터와 다른 특징을 보인다. 빅데이터의 5V 크기 속도 다양성 정확성 가치 03.인공지능과의 관계 인공지능과 데이터 과학은 머신러닝을 공통항으로 가진 관계 자동화할 수 있는 부분은 제대로 자동화하고 전체의 흐름을 제어하는 것이 데이터 과학자의 업무 04.데이터 과학자의 역할 무엇을 할 것인지 명확히하.. 공감수 0 댓글수 0 2021. 1. 8.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.